OCTen: Online Compression-based Tensor Decomposition
UC Riverside（加州大学河滨分校）
张量分解是大数据分析的强大工具，因为它们将数据的多个方面联合建模到一个框架中，并能够发现数据中的潜在结构和高阶相关性。最广泛研究和使用的分解之一，特别是在数据采掘和机器学习中，是规范多矢或CP分解。然而，今天的数据集并不是静态的，这些数据集经常随着时间的推移而动态增长和变化。要操作这样大的数据，我们提出OCTen有史以来第一次基于压缩的在线并行实现的CP分解。我们进行了广泛的实证分析的算法在健身，内存使用和CPU时间，为了证明该方法的压缩和可扩展性，我们应用OCTen大张量数据。OCTen在分解精度和效率方面与最先进的在线和在线方法不相上下或更好，同时节省高达40- 200%的内存空间。
2018-07-03 cs.LG stat.ML
Tensor Shape Search for Optimum Data Compression
University of California Santa Barbara（加州大学圣巴巴拉分校）
已经提出了各种张量分解方法用于数据压缩。在张量分解的现实应用中，为给定数据选择张量形状是一个挑战，张量的形状可能会影响误差和压缩比。在这项工作中，我们研究了张量的形状对张量分解的影响，并提出了一个优化模型，以找到一个最佳的张量训练（TT）分解的形状。所提出的优化模型最大化的TT分解的压缩比给定的误差界。我们实现了遗传算法（GA）与TT-SVD算法求解优化模型。我们将所提出的方法用于RGB图像的压缩。结果表明，建议的进化张量形状搜索的TT分解的有效性。
2022-05-21 cs.LG cs.NE eess.IV
Information Compression and Performance Evaluation of Tic-Tac-Toe's Evaluation Function Using Singular Value Decomposition
Keio University（庆应义塾大学）
利用奇异值分解（SVD）方法对井字棋的评价函数进行了近似，并研究了近似精度对胜率的影响。我们首先准备了井字棋的完美评价函数，并通过将评价函数视为九阶张量来进行低秩近似。我们发现，我们可以减少70%的评价函数的信息量，而不会显着降低性能。近似准确度和获胜率之间存在强相关性，但并不完全成正比。我们还研究了评价函数的分解方法如何影响性能。我们考虑了两种分解方法：将评价函数作为矩阵的简单SVD和高阶SVD的Tucker分解（HOSVD）。在相同的压缩比下，采用HOSVD得到的近似评价函数的策略比SVD得到的策略具有更高的获胜率。这些结果表明，SVD可以有效地压缩棋盘游戏策略，并存在一个最佳的压缩方法，取决于游戏。
2022-12-02 cs.AI cs.LG
CURing Large Models: Compression via CUR Decomposition
Seoul National University（首尔大学）
本文提出基于 CUR 矩阵分解的模型压缩方法 CURing，结合权重大小与激活值筛选行列，在极小性能损失下快速缩减大模型参数。
2025-01-10 cs.AI cs.LG
Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition
University of Waterloo（滑铁卢大学）
现代卷积神经网络（CNN）架构尽管在解决各种问题方面具有优势，但通常太大而不能部署在资源受限的边缘设备上。在本文中，我们减少了CNN中卷积层所需的内存使用和浮点运算。我们通过将Kronecker乘积分解推广到多维张量来压缩这些层，从而得到广义Kronecker乘积分解（GKPD）。我们的方法产生了一个即插即用的模块，可以用作任何卷积层的替代品。使用ResNet、MobileNetv 2和SeNet架构在CIFAR-10和ImageNet数据集上进行图像分类的实验结果证实了我们提出的方法的有效性。我们发现GKPD优于最先进的分解方法，包括Tensor-Train和Tensor-Ring以及其他相关的压缩方法，如修剪和知识蒸馏。
2022-01-14 cs.CV cs.LG
Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression
University of Florida（佛罗里达大学）；National Research University Higher School of Economics（俄罗斯国家研究大学——莫斯科经济学院）
本文系统评估了张量分解在稠密和MoE架构上的训练后压缩效果，通过实证与理论分析揭示了其与LLM异构表示之间的根本性不匹配，从而界定了其实际限制和在规模化部署中的可行角色。
2026-06-02 cs.AI cs.LG
ESPACE: Dimensionality Reduction of Activations for Model Compression
NVIDIA Research（英伟达研究院）
该研究提出以激活值降维为核心的LLM压缩技术ESPACE，理论上构建了最优精度投影矩阵，实验中在多模型上实现低精度损失的高压缩率，甚至低压缩率下可超越基线，还能降低推理延迟，推动张量分解压缩技术发展。
2024-10-07 cs.LG
GA-SVD: Generation-aware Singular Value Decomposition for LLM Compression
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Technology Innovation Institute UAE（阿联酋技术创新研究院）；Westlake University（西湖大学）；ISTA（奥地利科学技术研究所）
针对现有SVD压缩LLM时难以保留生成任务性能且秩分配策略启发式的问题，提出GA-SVD框架，通过GAWW和进化全局秩分配方法，在多类模型及基准上实现优于基线的SoTA压缩效果，且可扩展至70B参数模型。
2026-10-14 cs.LG
Reduced storage direct tensor ring decomposition for convolutional neural networks compression
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
本文提出基于降存储直接张量环分解（RSDTR）的低秩CNN压缩方法，通过更灵活的循环模式置换实现高参数与FLOPS压缩率，并在CIFAR-10和ImageNet上验证其优于现有方法。
2024-08-05 cs.CV cs.LG
HiHa: Introducing Hierarchical Harmonic Decomposition to Implicit Neural Compression for Atmospheric Data
Jilin University（吉林大学）；Institute of Atmospheric Physics（大气物理研究所）
针对大气数据压缩难题，提出HiHa方法，通过分层谐波分解和多尺度隐式神经表示实现高保真高压缩率，实验证明其优于现有方法且压缩数据不影响下游模型精度。
2024-11-09 cs.IT cs.LG math.IT
SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression
The Ohio State University（俄亥俄州立大学）；Michigan State University（密歇根州立大学）
本文提出训练后压缩方法SVD-LLM，通过截断感知数据白化和序贯低秩参数更新降低SVD压缩损失，并在多家族、多规模模型与10个数据集上验证其高压缩比优势。
2025-03-16 cs.CL cs.LG
PuzzleKV: Page-Wise Low-Rank Decomposition for KV Cache Compression
PuzzleKV将KV缓存划分为固定长度逻辑页，以页为独立压缩单元，在匹配存储预算下实现高压缩率与近似完整KV的性能，在RULER、LongBench等基准上表现优于Global SVD。
2026-08-26 cs.LG
Unified Framework for Pre-trained Neural Network Compression via Decomposition and Optimized Rank Selection
Université Grenoble Alpes, CNRS, Computer Science Laboratory LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、计算机科学实验室LIG）
本文提出统一框架，在连续空间中自动搜索最优秩并同时进行张量分解，无需额外训练数据即可高效压缩预训练模型，并通过微调保持与原始模型相当的性能。
2025-09-21 cs.CV cs.LG
Activation Map Compression through Tensor Decomposition for Deep Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎综合理工学院）
针对嵌入式设备上反向传播内存占用高的挑战，提出基于SVD和高阶SVD张量分解的激活图压缩方法，在保留学习特征和理论收敛性的同时实现内存节省，并在泛化与内存权衡上表现优越。
2024-11-10 cs.CV cs.LG
Beyond Uniform SVD:Dual-Level Optimization across Columns and Modules for LLM Compression
Shanghai Jiao Tong University（上海交通大学）
Duo-SVD通过双层优化提升LLM压缩效率，有效解决分解误差差异和权重矩阵重要性评估问题。
2026-01-14 cs.LG
Improving Word Embedding Factorization for Compression Using Distilled Nonlinear Neural Decomposition
University of British Columbia（不列颠哥伦比亚大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
词嵌入是自然语言处理（NLP）模型的重要组成部分，并已被广泛研究。然而，它们消耗大量内存，这对边缘部署构成了挑战。嵌入矩阵通常包含语言模型的大部分参数，以及机器翻译系统的大约三分之一。本文提出了一种基于低秩矩阵分解和知识蒸馏的（输入/输出）嵌入压缩方法--蒸馏嵌入。首先，我们通过学习重建完整的预训练词嵌入来初始化分解矩阵的权重，然后对分解的嵌入采用知识蒸馏进行端到端的微调。我们在机器翻译和语言建模上使用不同的压缩率进行了广泛的实验，使用不同的数据集，其中嵌入矩阵和词汇投影矩阵都具有共享的单词嵌入矩阵。我们表明，所提出的技术是简单的复制，与一个固定的参数控制压缩大小，具有较高的BLEU分数的翻译和较低的困惑语言建模相比，复杂的，难以调整的最先进的方法。
2020-11-10 cs.CL cs.LG
SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices
Department of Computer Science, Aalborg University Copenhagen（奥尔堡大学哥本哈根分校计算机科学系）；MaLGa-DIBRIS, University of Genoa（热那亚大学MaLGa-DIBRIS）；INFN, Sezione di Genova（国家核物理研究所热那亚分部）；European Organization for Nuclear Research (CERN)（欧洲核子研究中心）；Ceva, Inc.（Ceva公司）
提出SigmaScale方法，通过学习辅助缩放矩阵优化截断SVD的LLM压缩，降低权重矩阵有效秩，在Llama 3.1 8B和Qwen3-8B上达到竞争性能。
2026-06-05 cs.CL cs.LG
Convolutional neural networks compression with low rank and sparse tensor decompositions
Skoltech（斯科尔特科技学院）
卷积神经网络在各种计算机视觉任务中表现出优异的性能。然而，神经网络架构设计通常面临模型性能和计算/存储器复杂度之间的权衡。对于一些现实世界的应用程序，开发模型至关重要，这些模型可以快速而轻巧地在边缘系统和移动设备上运行。然而，许多表现出良好性能的现代体系结构不满足推理时间和存储限制的要求。因此，出现了一个问题，神经网络压缩，以获得一个更小，更快的模型，这是与初始的。在这项工作中，我们考虑一个神经网络压缩方法的基础上张量分解。也就是说，我们建议用一个张量来近似卷积层权重，它可以表示为低秩和稀疏分量的总和。这种近似的动机是基于这样的假设，即低秩和稀疏项允许消除两种不同类型的冗余，从而产生更好的压缩率。一个有效的CPU实现所提出的方法已经开发。我们的算法在压缩Resnet 50架构用于图像分类任务时，表现出高达3.5倍的CPU层加速和11倍的层大小减少。
2020-06-11 cs.CV cs.LG
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一，因为它能够揭示复杂结构之间的潜在关系。然而，大多数现有的方法，压缩网络逐层，这不能提供一个令人满意的解决方案，以实现全局优化。在本文中，我们提出了一种模型简化方法，使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法，用来抑制压缩过程中的不重要因素，从而更容易地显示出合适的秩。实验结果表明，与其他张量压缩方法相比，该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18，我们的简化模型在GMAC方面可以达到两倍以上的速度，而Top-1精度仅下降0.7%，这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
Speeding up Resnet Architecture with Layers Targeted Low Rank Decomposition
Huawei Technologies（华为技术有限公司）
本文提出一种面向硬件的低秩分解压缩方法，通过选择性地压缩ResNet50网络层，在Ascend硬件上实现训练加速5.36%、推理加速15.79%，而准确率仅下降1%。
2023-09-21 cs.CV cs.LG
Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Haifa（海法大学）
我们提出了一种新的全局压缩框架，用于深度神经网络，自动分析每一层，以确定最佳的每层压缩比，同时实现所需的整体压缩。我们的算法依赖于压缩每个卷积（或全连接）层的想法，将其信道切片为多个组，并通过低秩分解来分解每个组。在我们的算法的核心是从EckartYoungMirsky定理推导逐层误差界。然后，我们利用这些界限来框架的压缩问题作为一个优化问题，我们希望最大限度地减少跨层的最大压缩误差，并提出了一个有效的算法解决方案。我们的实验表明，我们的方法优于现有的低秩压缩方法在广泛的网络和数据集。我们相信，我们的研究结果为未来研究现代神经网络的全局性能-大小权衡开辟了新的途径。我们的代码可在https://github.com/lucaslie/torchprune上获得。
2021-11-18 cs.AI cs.CV cs.LG
MoDeGPT: Modular Decomposition for Large Language Model Compression
Samsung Research America（三星美国研究实验室）
本文提出MoDeGPT，一种基于矩阵分解的结构化压缩框架，无需反向传播或恢复微调即可在保持高零样本性能的同时显著降低大型语言模型的计算成本和推理延迟。
2025-05-02 cs.CL cs.LG stat.ML
Compression-aware Continual Learning using Singular Value Decomposition
University of Tübingen（蒂宾根大学）；Yale University（耶鲁大学）
我们提出了一种基于压缩的连续任务学习方法，可以动态地增长一个神经网络。从最近的模型压缩技术的启发，我们采用压缩感知训练和执行低秩权重近似使用奇异值分解（SVD），以实现网络压缩。通过鼓励网络学习低秩权重滤波器，我们的方法以最小的性能下降实现了压缩表示，而不需要昂贵的微调。具体来说，我们使用SVD分解权重过滤器，并以其分解形式在增量任务上训练网络。这样的因式分解允许我们直接在奇异值上施加稀疏诱导正则化器，并允许我们为每个任务使用更少的参数。我们进一步介绍了一种新的共享表征空间为基础的学习任务之间。这促进了传入的任务仅在先前学习的权重过滤器之上学习剩余的任务特定信息，并且极大地有助于在固定容量约束下的学习。我们的方法在三个基准数据集上的性能明显优于之前的持续学习方法，在20分裂CIFAR-100，miniImageNet和5序列数据集上的准确率分别提高了10.3%，12.3%，15.6%。此外，我们的方法产生的压缩模型具有约3.64倍，2.88倍，与基线个体任务模型相比，上述数据集上的参数数量分别少5.91倍。我们的源代码可以在https://github.com/pavanteja295/CACL上找到。
2020-09-14 cs.CV cs.LG
Low-Rank Prehab: Preparing Neural Networks for SVD Compression
Department of Computer Science, Vanderbilt University（计算机科学系，范德比尔特大学）
低秩预准备通过在SVD压缩前优化权重结构，提升压缩后模型性能和恢复效果。
2025-12-01 cs.LG
MPDCompress - Matrix Permutation Decomposition Algorithm for Deep Neural Network Compression
University of California, Berkeley（加利福尼亚大学伯克利分校）；Google Brain（谷歌大脑）
深度神经网络（DNN）已经成为各种应用中用于机器学习任务的最先进技术。然而，由于其大小和计算复杂性，大型DNN不容易实时部署在边缘设备上。为了管理复杂性和加速计算，已经提出了基于修剪和量化的网络压缩技术，并且被证明在减小网络大小方面是有效的。然而，这种网络压缩可能导致不规则的矩阵结构，这些矩阵结构与现代硬件加速平台不匹配，例如设计用于以结构化（基于块）方式执行DNN矩阵乘法的图形处理单元（GPU）。我们提出了MPDCompress，一种基于矩阵置换分解的DNN压缩算法，通过随机掩码生成。掩码的训练中应用将突触权重连接矩阵塑造成子图分离格式。借助于随机排列，生成硬件期望的块矩阵，从而允许更有效地实现和压缩网络。为了展示多功能性，我们在几个网络模型，压缩率和图像数据集上实证验证了MPDCompress。在LeNet 300-100模型（MNIST数据集）、Deep MNIST和CIFAR 10上，我们实现了10倍的网络压缩，与非压缩精度性能相比，精度损失不到1%。在完整ImageNet ILSVRC-2012数据集的AlexNet上，我们实现了8倍的网络压缩，准确率损失小于1%，前5名和前1名的准确率分别为79.6%和56.4%。最后，我们观察到该算法可以在各种硬件平台上提供推理加速，在几个移动GPU上实现4倍的运算速度。
2018-05-30 cs.AI cs.LG stat.ML
Post-Training Network Compression for 3D Medical Image Segmentation: Reducing Computational Efforts via Tucker Decomposition
University Hospital, LMU Munich（慕尼黑大学医院）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出一种基于Tucker分解的训练后网络压缩方法，应用于TotalSegmentator模型，在保持分割精度的同时大幅减少参数和计算量，促进深度学习在临床的部署。
2024-04-18 cs.CV cs.LG eess.IV
CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression
Department of Electrical and Information Engineering, Universitas Gadjah Mada（电子与信息工程系，加雅马达大学）；School of Information Technology, King Mongkut’s Institute of Technology Ladkrabang（信息技术学院，拉差班科技学院）
CALR通过结合SVD压缩主路径与可学习低秩校正模块，在减少26.93%-51.77%参数的同时保留59.45%-90.42%性能，优于现有压缩方法。
2025-08-26 cs.AI cs.LG
Distribution-Aware Tensor Decomposition for Compression of Convolutional Neural Networks
CEA（法国原子能委员会）；INRIA（法国国家信息与自动化研究所）
针对卷积神经网络压缩问题，提出分布感知张量分解方法，通过最小化层输出分布变化优化低秩近似，无需微调即可达到竞争精度，且范数可跨数据集转移，实验验证其在多架构和数据集上的优势。
2025-11-12 cs.CV cs.LG
Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）
循环神经网络（Recurrent Neural Network，RNN）在序列分析和建模中得到了广泛的应用。然而，在处理高维数据时，RNN通常需要非常大的模型大小，从而带来一系列部署挑战。虽然现有的张量分解方法可以提供良好的模型压缩性能，但这些方法仍然存在一些固有的局限性，如有限的表示能力和模型复杂度降低不足。为了克服这些限制，在本文中，我们提出使用分层塔克（HT）分解来开发紧凑的RNN模型。HT分解使分解后的RNN模型具有较强的层次结构，这对于提高RNN模型的表示能力是非常有用和重要的。同时，HT分解提供了更高的存储和计算成本降低比现有的张量分解方法的RNN压缩。我们的实验结果表明，与最先进的压缩RNN模型（如TT-LSTM，TR-LSTM和BT-LSTM）相比，我们提出的基于HT的LSTM（HT-LSTM）在不同数据集上实现了压缩比和测试精度的同时和显着提高。
2020-05-09 cs.LG stat.ML
Compression of Recurrent Neural Networks for Efficient Language Modeling
Samsung R&D Institute（三星研发研究所）；National Research University Higher School of Economics（国家研究型高等经济大学）
循环神经网络已被证明是一种有效的统计语言建模方法。然而，在实践中，它们的内存和运行时的复杂度通常太大，无法在实时离线移动应用程序中实现。在本文中，我们考虑了几种压缩技术的循环神经网络，包括长短期记忆模型。我们特别注意的高维输出问题所造成的非常大的词汇量。我们专注于有效的压缩方法的上下文中开发的设备：修剪，量化和矩阵分解方法（低秩因式分解和张量训练分解，特别是）。对于每一个模型，我们调查其大小，适合快速推理和困惑之间的权衡。我们提出了一个通用的管道，用于应用最合适的方法来压缩用于语言建模的循环神经网络。在Penn Treebank（PTB）数据集的实验研究中已经表明，通过矩阵分解技术获得了在速度和压缩-困惑平衡方面最有效的结果。
2019-02-06 cs.CL cs.LG
Enhancing Dynamic Mode Decomposition Workflow with In-Situ Visualization and Data Compression
COPPE/Federal University of Rio de Janeiro（里约热内卢联邦大学COPPE研究生院）；Federal University of Juiz de Fora（茹伊斯迪福拉联邦大学）
现代计算科学和工程应用正在通过科学机器学习的进步而得到改进。诸如动态模式分解（DMD）的数据驱动方法可以从动态系统生成的时空数据中提取相干结构，并推断所述系统的不同场景。时空数据以包含每个时刻的空间信息的快照的形式出现。在现代工程应用中，高维快照的生成可能需要时间和/或资源。在本研究中，我们考虑两种策略，以提高DMD工作流程中的大型数值模拟：（i）快照压缩，以减轻磁盘压力;（ii）使用原位可视化图像重建的动态（或部分）在运行时。我们评估我们的方法与两个三维流体动力学模拟，并考虑DMD重建的解决方案。结果表明，快照压缩大大减少了所需的磁盘空间。我们已经观察到，有损压缩将存储减少了几乎$50\%$，并且在信号重建和其他感兴趣的量中具有低的相对误差。我们还扩展了我们的分析，在运行时生成的数据，使用原位可视化工具来生成我们的状态向量的图像文件。在大型模拟中，快照的生成可能慢到足以使用批处理算法进行推理。流DMD利用增量SVD算法，并随着每个新快照的到来更新模式。我们使用流式DMD从原位生成的图像重建动态。我们表明，这个过程是有效的，重建的动态是准确的。
2022-08-16 cs.GR cs.LG
Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition
Department of Computer Science, Technical University of Munich（计算机科学系，慕尼黑技术大学）；Schulich School of Engineering, University of Calgary（工程学院，卡尔加里大学）；Google DeepMind, Canada（加拿大谷歌深Mind）
提出FiPS框架，通过跨块参数共享、低秩分解和稀疏性联合优化，压缩Transformer MLP，在ViT和LLM上实现高效压缩且性能损失小。
2026-06-07 cs.LG
HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression
NVIDIA（英伟达）；Caltech（加州理工学院）
Transformers在自然语言处理和计算机视觉方面取得了卓越的性能。它们的自我注意和前馈层是过度参数化的，限制了推理速度和能量效率。张量分解是一种很有前途的技术，通过利用张量代数性质来表示因子分解形式的参数，以减少参数冗余。先前的努力使用手动或启发式因子分解设置，而没有硬件感知的定制，导致硬件效率低下和性能大幅下降。在这项工作中，我们提出了一个硬件感知的张量分解框架，称为HEAT，它可以有效地探索可能的分解的指数空间，并通过硬件感知的协同优化自动选择张量化形状和分解秩。我们共同研究张量收缩路径优化和融合Einsum映射策略，以弥合理论优势和实际硬件效率提高之间的差距。我们的两阶段知识蒸馏流程解决了可训练性瓶颈，从而显著提高了因子化Transformers的最终准确性。总的来说，我们的实验表明，我们的硬件感知因子分解BERT变体将能量延迟产品减少了5.7倍，准确性损失小于1.1%，并实现了比手动调整和启发式基线更好的效率-准确性帕累托前沿。
2022-11-30 cs.AI cs.AR cs.LG
Quantization Aware Factorization for Deep Neural Network Compression
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出一种量化感知的张量分解算法，利用ADMM直接获得CP分解的量化因子，在压缩神经网络的同时保持预测质量，并展现出与训练后量化方法相比的竞争力和灵活性。
2023-08-08 cs.LG
LSVD: Loss-Aware Low-Rank Approximation for Efficient Low-Precision Vision-Language Models
Tandon School of Engineering, New York University（纽约大学工程学院）；Courant Institute of Mathematical Sciences, New York University（纽约大学数学科学学院）；Brookhaven National Laboratory（布鲁克海文国家实验室）
提出LASER框架，通过损失感知的奇异值分解和跨层秩分配，结合混合量化方案，实现视觉-语言模型在低精度推理下的高效压缩与加速。
2026-10-23 cs.LG
HOTCAKE: Higher Order Tucker Articulated Kernels for Deeper CNN Compression
Institute for Clarity in Documentation（清晰度文献研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
新兴的边缘计算促进了在不牺牲太多准确性的情况下压缩神经网络的巨大兴趣。在这方面，低秩张量分解构成了一个强大的工具，通过将4路核张量分解为多级较小的张量来压缩卷积神经网络（CNN）。在Tucker-2分解的基础上，提出了一种广义高阶Tucker关节核（HOTCAKE）方法，该方法包括四个步骤：输入通道分解、引导Tucker秩选择、高阶Tucker分解和微调。通过对每个CONV层进行HOTCAKE，获得了具有适度精度折衷的高度压缩的CNN模型。实验表明，HOTCAKE甚至可以压缩预压缩的模型，并产生最先进的轻量级网络。
2020-02-28 cs.CV cs.LG stat.ML
SLaB: Sparse-Lowrank-Binary Decomposition for Efficient Large Language Models
School of Microelectronics, University of Science and Technology of China（中国科学技术大学微电子学院）
SLaB通过将线性层权重分解为稀疏矩阵、低秩矩阵和二进制矩阵，实现大语言模型的高效压缩，在50%压缩下使困惑度降低36%，在零样本任务中提升准确率8.98%。
2026-04-06 cs.AI cs.LG
Rethinking Compression: Reduced Order Modelling of Latent Features in Large Language Models
Nyun AI；Transmute AI Lab（Transmute AI实验室）
针对大语言模型规模大、传统压缩方法难直接应用的问题，提出基于降阶建模的逐层压缩方法，含特征空间低秩分解与权重空间重参数化，无需GPU即可压缩十亿级模型，效果优于现有主流结构化剪枝方法。
2023-12-12 cs.CL cs.LG
FermiGrad-SVD: An LLM Compression Pipeline with Global Rank Selection and Gauge Fixing
Multiverse Computing（多维计算公司）；Donostia International Physics Center（Donostia国际物理中心）；Ikerbasque Foundation for Science（Ikerbasque科学基金会）
本文提出FermiGrad和PivGa两种方法，通过费米函数优化秩选择和规范固定，实现LLM压缩的全局优化。
2026-10-30 cs.LG stat.ML
Almost-lossless compression of a low-rank random tensor
Huawei Research Center（华为研究中心）
在这项工作中，我们建立了一个渐近极限的几乎-无损压缩的随机，有限的字母表张量，它允许一个低秩的规范polyadic分解。
2022-10-23 cs.IT cs.LG eess.SP
MARS: Masked Automatic Ranks Selection in Tensor Decompositions
HSE University（高等经济大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；AIRI
针对张量分解中确定最优秩的难题，提出MARS方法，通过在贝叶斯模型中进行松弛MAP估计来学习分解核心上的二进制掩码以自动选择最优秩，可无缝嵌入标准神经网络训练，在多种任务上优于以往工作。
2023-04-04 cs.LG stat.ML
TensorGPT: Efficient Compression of Large Language Models based on Tensor-Train Decomposition
Imperial College London（帝国理工学院）
本文提出基于 Tensor-Train Decomposition 的免训练 LLM 嵌入压缩方法 TensorGPT，将 token 嵌入转为 MPS，并在 GPT-2 与 CerebrasGPT 上验证其高压缩率、低设备延迟及接近原模型的性能。
2024-10-03 cs.CL cs.LG cs.NA
Towards Efficient and Accurate Approximation: Tensor Decomposition Based on Randomized Block Krylov Iteration
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
高效、准确的低秩近似（LRA）方法对于大规模数据分析具有重要意义。随机张量分解已经成为满足这一需求的强大工具，但大多数现有方法在存在噪声干扰的情况下表现不佳。受随机块Krylov迭代（rBKI）在减少尾部奇异值影响方面的显著性能的启发，本文设计了一种基于rBKI的Tucker分解（rBKI-TK）用于精确逼近，以及一种基于rBKI-TK的分层张量环分解用于大规模数据的有效压缩。此外，还研究了确定性LRA与随机化LRA的误差界。数值实验表明，所提出的方法在数据压缩和去噪方面的效率，准确性和可扩展性。
2022-11-27 cs.LG cs.NA math.NA
Tensor-Train Point Cloud Compression and Efficient Approximate Nearest-Neighbor Search
Skolkovo（斯科尔科沃）；AIRI；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究提出基于张量列低秩分解的点云表示新方法，结合概率解释与密度估计损失实现鲁棒压缩，利用其内在层次结构加速近似最近邻搜索，在OOD检测、ANN搜索等场景中验证了有效性。
2024-10-06 cs.CV cs.LG
UniRank: Unified Rank Allocation for Low-Rank LLM Compression
Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo（宁波数字孪生研究院，东方理工大学（宁波））；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
提出UniRank方法，将全局低秩分配转化为排序截断流程，通过局部奇异能量比和全局功能重要性双准则评分各奇异分量，并引入秩保持微调避免信息损失，在一次性压缩中困惑度降低高达50%。
2026-09-15 cs.AI cs.LG
Unified Low-rank Compression Framework for Click-through Rate Prediction
Nanjing University（南京大学）
本文提出统一低秩分解框架，通过局部压缩输出特征而非模型权重，在模型体积减少3-5倍的同时实现更快的推理速度和更高的AUC，解决了CTR预测模型在资源受限环境中的部署难题。
2024-06-11 cs.IR cs.LG
Modulating Regularization Frequency for Efficient Compression-Aware Model Training
Samsung Research（三星研究院）
虽然由于大的神经网络尺寸，模型压缩越来越重要，但压缩感知训练具有挑战性，因为它需要复杂的模型修改和更长的训练时间。在训练期间多久执行一次压缩）作为一种新的正则化技术，用于实用且有效的压缩感知训练方法。对于各种正则化技术，例如权重衰减和丢弃，优化正则化强度对于提高深度神经网络（DNN）中的泛化能力至关重要。虽然模型压缩也需要适当的正则化量，但是由模型压缩引起的正则化强度仅由压缩比控制。通过各种实验，我们表明，正则化频率严重影响正则化强度的模型压缩。结合正则化频率和压缩比，可以优化每个小批次通过模型压缩进行的权重更新量，以实现最佳模型精度。调节正则化频率通过偶尔的模型压缩来实现，而传统的压缩感知训练通常针对每个小批次执行。
2021-05-05 cs.AI cs.LG
Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression
Information Technologies Institute (ITI), Centre for Research and Technology HELLAS (CERTH)（信息技术研究所（ITI），希腊研究与技术中心（CERTH））
研究语言模型压缩问题，结合神经元重要性和数据感知低秩近似方法，提出动态压缩率分配算法，实验表明该方法在高压缩率下性能与或优于现有技术。
2026-07-22 cs.AI cs.LG
Compression-aware Training of Neural Networks using Frank-Wolfe
Zuse Institute Berlin（柏林Zuse研究所）；Technische Universität Berlin（柏林工业大学）
提出基于范数约束和随机Frank-Wolfe算法的神经网络“压缩感知”训练框架，通过单次训练提升模型对剪枝和低秩分解的鲁棒性，并证明动态调整学习率的理论基础。
2024-02-14 cs.LG math.OC
BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对可变内存下 LLM 部署难题，本文提出无需训练的 BitStack 权重分解压缩方法，支持兆字节级动态尺寸调整，并在多任务上达到或超过量化基线。
2025-02-17 cs.AI cs.CL cs.CV
Few Sample Knowledge Distillation for Efficient Network Compression
MIT（麻省理工学院）；Intel Labs（英特尔实验室）；UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
剪枝、权重张量分解等深度神经网络压缩技术，在压缩比较高时，通常需要进行微调以恢复预测精度。然而，传统的微调遭受的要求，一个大的训练集和耗时的训练过程。本文提出了一种新的解决方案，知识蒸馏从无标签的小样本，实现数据效率和训练/处理效率。我们把原始网络看作“教师网”，把压缩后的网络看作“学生网”。在学生网络的每个层块的末尾添加一个1x 1卷积层，通过估计添加层的参数，将学生网络的块级输出拟合到教师网络。我们证明了增加的层可以合并，而不增加额外的参数和计算成本在推理。在多个数据集和网络结构上的实验验证了该方法对各种网络剪枝和权值分解方法得到的学生网的有效性。我们的方法可以在几分钟内恢复学生网络的准确性与传统的微调方法相同的水平，而只使用完整的训练数据的1%的无标签数据。
2020-03-31 cs.LG stat.ML
Tensor train decompositions on recurrent networks
Université de Montréal（蒙特利尔大学）；Huawei Noah’s Ark Research Lab（华为诺亚方舟实验室）
递归神经网络（RNN），如长短期记忆（LSTM）网络，在语音、语言、视频和多模态学习等众多日常任务中至关重要。从云计算到边缘计算的转变加剧了对RNN参数增长的需求。目前对RNN的研究表明，尽管在卷积神经网络（CNN）上获得了良好的性能，但在压缩RNN中保持良好的性能仍然是一个挑战。大多数关于压缩的文献都集中在使用矩阵乘积（MPO）算子张量序列的CNN上。然而，矩阵乘积状态（MPS）张量列车有更多的有吸引力的功能比MPO，在减少存储和计算时间的推断。我们通过对NLP任务的理论分析和实际实验表明，MPS张量训练应该处于LSTM网络压缩的最前沿。
2020-06-09 cs.LG stat.ML
ByteComp: Revisiting Gradient Compression in Distributed Training
Rice University（莱斯大学）；ByteDance Inc.（字节跳动公司）
梯度压缩（GC）是解决分布式深度学习（DPL）中通信瓶颈的一种有前途的方法。然而，由于张量之间复杂的相互作用，因此找到将GC应用于XML的最佳压缩策略具有挑战性。为了充分发挥GC的优势，必须解决两个问题：1）如何表达所有压缩策略以及任何训练任务中张量之间的相应交互？2)如何快速选择接近最佳的压缩策略？在本文中，我们提出ByteComp来回答这些问题。它首先设计了一个决策树抽象来表达所有的压缩策略，并开发了时间轴张量计算，通信和压缩的经验模型，使ByteComp能够导出张量之间复杂的相互作用。然后，它设计了一个压缩决策算法，该算法分析张量交互，以消除和优先考虑策略，并最佳地将压缩卸载到CPU。实验评估表明，ByteComp可以将具有代表性的压缩训练作业的训练吞吐量提高77%。此外，选择压缩策略所需的计算时间是以毫秒为单位测量的，并且所选择的策略距离最佳策略只有百分之几。
2022-06-06 cs.DC cs.LG
Low-Rank Compression of Language Models via Differentiable Rank Selection
University of Edinburgh（爱丁堡大学）
LLRC通过可微分方法实现语言模型的低秩压缩，在无需微调的情况下提升压缩率与下游任务准确性。
2025-12-14 cs.AI cs.LG
