Communication Compression for Tensor Parallel LLM Inference
Recogni；Technical University of Munich（慕尼黑技术大学）
本文提出通过压缩加速器间通信来减少张量并行大语言模型推断的延迟，实现TTFT减少2倍且性能损失可忽略。
2026-01-06 cs.AI cs.CL cs.LG
LatentLLM: Attention-Aware Joint Tensor Compression
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
针对LLM/LMM资源消耗大的问题，提出注意力感知的联合张量分解框架，将模型转为降维潜在结构，在降低维度时显著提升压缩模型的准确性，并在多模态推理等基准上验证了优势。
2025-05-23 cs.AI cs.CL cs.CV
TensorDex: A Compact, Tensor-Centric Storage System for Modern AI Models
University of Virginia（弗吉尼亚大学）；Harvard University（哈佛大学）
TStore通过细粒度去重和压缩技术减少存储开销，保留模型可用性和性能，实现实验中显著的存储节省。
2026-10-16 cs.AI cs.DC cs.LG
TACO: Efficient Communication Compression of Intermediate Tensors for Scalable Tensor-Parallel LLM Training
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Science and Technology of China（中国科学技术大学）
本文提出TACO框架，通过FP8压缩技术减少大规模张量并行训练中的通信开销，提升训练吞吐量并保持高精度。
2026-04-27 cs.AI cs.DC
More GPUs or a Smaller Cache? Tensor Parallelism versus KV Compression for Memory-Bound LLM Serving
MIT（麻省理工学院）；Vizuara（维祖拉公司）
该研究对比LLM服务中张量并行与KV压缩的成本性能，发现压缩在多数场景成本更低，仅当模型规模超80GB卡对应36B参数时需用张量并行，且压缩提升容量、张量并行降低延迟。
2026-08-26 cs.AI
CompactifAI: Extreme Compression of Large Language Models using Quantum-Inspired Tensor Networks
Multiverse Computing（多维计算公司）；Catalan Institute of Nanoscience and Nanotechnology (ICN2)（加泰罗尼亚纳米科学与纳米技术研究所）；The Barcelona Institute of Science and Technology（巴塞罗那科学技术研究院）；Donostia International Physics Center（多斯蒂亚国际物理中心）；Centre for Social Innovation（社会创新中心）
本文提出 CompactifAI，一种基于量子启发张量网络的 LLM 压缩新方法，通过关注模型相关空间实现可控压缩，结合量化使 LlaMA 7B 内存减少 93% 且精度仅微降，揭示了标准 LLM 存在严重过度参数化问题。
2024-05-13 cs.AI cs.CL cs.LG
OSCAR: Online Soft Compression And Reranking
NAVER LABS Europe（NAVER欧洲实验室）
OSCAR通过在线软压缩和重排序方法提升RAG管道效率，实现推理速度提升2-5倍且准确率无损失。
2026-03-04 cs.AI cs.CL cs.IR
MorphTE: Injecting Morphology in Tensorized Embeddings
Tianjin University（天津大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在深度学习时代，处理文本任务时，词嵌入至关重要。然而，存储和访问这些嵌入需要大量的空间。这不利于在资源有限的设备上部署这些模型。结合张量积强大的压缩能力，提出了一种基于形态增强的词嵌入压缩方法--形态增强张量化嵌入（Morphologically-enhanced Tensorized Embeddings，MorphTE）。一个词由一个或多个语素组成，语素是承载意义或具有语法功能的最小单位。MorphTE通过张量积将词嵌入表示为其词素向量的纠缠形式，这将先前的语义和语法知识注入到嵌入的学习中。此外，词素向量的维数和词素的数目远小于词的维数和词素的数目，这大大减少了词嵌入的参数。我们对机器翻译和问答等任务进行了实验。在四种不同语言的翻译数据集上的实验结果表明，MorphTE可以将词嵌入参数压缩约20倍而不损失性能，并且显着优于相关嵌入压缩方法。
2022-10-27 cs.AI cs.CL
Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines
New York University（纽约大学）
本文提出一种顺序输入压缩机制，在预填充阶段通过结构感知的键值缓存压缩，降低多模态大语言模型的峰值内存使用，同时保持生成性能。
2026-04-17 cs.AI cs.CV
Semi-tensor Product-based TensorDecomposition for Neural Network Compression
University of Electronic Science and Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）
现有的张量网络采用传统的矩阵积进行连接。经典的矩阵乘积要求因子之间具有严格的维数一致性，这会导致数据表示的冗余。本文利用半张量积将经典的基于矩阵积的模积推广到半张量积。由于它允许连接两个不同维度的因子，因此可以用较小的因子获得更灵活和紧凑的张量分解。Tucker分解、张量训练（TT）和张量环（TR）是深度神经网络低秩压缩的常用分解。将半张量积应用于这些张量分解以获得它们的广义版本，即，半张量Tucker分解（STTu）、半张量训练（STT）和半张量环（STR）。实验结果表明，STTu，STT和STR实现更高的压缩因子比传统的张量分解具有相同的精度，但更少的训练时间在ResNet和WideResNet压缩。在2%精度下降的情况下，TT-RN（rank = 14）和TR-WRN（rank = 16）仅获得3倍和99 t倍的压缩因子，而STT-RN（rank = 14）和STR-WRN（rank = 16）分别获得9倍和179倍的压缩因子。
2021-09-30 cs.LG
Low-Rank+Sparse Tensor Compression for Neural Networks
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Facebook Inc.（Facebook公司）
低秩张量压缩已被提出作为一种有前途的方法，以减少神经网络部署在边缘设备上的内存和计算需求。张量压缩通过假设网络权重具有粗略的高阶结构来减少表示神经网络权重所需的参数的数量。这种粗结构假设已经被应用于压缩大型神经网络，如VGG和ResNet。然而，用于计算机视觉任务的现代最先进的神经网络（即MobileNet，EfficientNet）已经通过深度可分离卷积假设了粗糙的因子分解结构，使得纯张量分解成为一种不太有吸引力的方法。我们建议将低秩张量分解与稀疏修剪相结合，以便利用粗结构和细结构进行压缩。我们在SOTA架构（MobileNetv3，EfficientNet，视觉Transformer）中压缩权重，并将这种方法与稀疏修剪和张量分解进行比较。
2021-11-02 cs.LG
Tensor Shape Search for Optimum Data Compression
University of California Santa Barbara（加州大学圣巴巴拉分校）
已经提出了各种张量分解方法用于数据压缩。在张量分解的现实应用中，为给定数据选择张量形状是一个挑战，张量的形状可能会影响误差和压缩比。在这项工作中，我们研究了张量的形状对张量分解的影响，并提出了一个优化模型，以找到一个最佳的张量训练（TT）分解的形状。所提出的优化模型最大化的TT分解的压缩比给定的误差界。我们实现了遗传算法（GA）与TT-SVD算法求解优化模型。我们将所提出的方法用于RGB图像的压缩。结果表明，建议的进化张量形状搜索的TT分解的有效性。
2022-05-21 cs.LG cs.NE eess.IV
TensorCodec: Compact Lossy Compression of Tensors without Strong Data Assumptions
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）；School of Software, Soongsil University（崇实大学软件学院）
本文提出通用张量有损压缩算法 TENSORCODEC，通过神经张量列分解、高阶折叠和模式索引重排序，在无需强数据假设的情况下实现更紧凑、更准确且可扩展的压缩。
2023-09-20 cs.LG
Almost-lossless compression of a low-rank random tensor
Huawei Research Center（华为研究中心）
在这项工作中，我们建立了一个渐近极限的几乎-无损压缩的随机，有限的字母表张量，它允许一个低秩的规范polyadic分解。
2022-10-23 cs.IT cs.LG eess.SP
Deep Compression of Sum-Product Networks on Tensor Networks
和积网络（SPN）代表了一类新兴的神经网络，具有清晰的概率语义和优于图形模型的推理速度。这项工作揭示了SPN和张量网络之间惊人的密切联系，从而导致了一种高效的表示，我们称之为张量SPN（tSPN）。这是第一次，通过将一个SPN映射到一个tSPN，并采用新的优化技术，我们表现出显着的参数压缩与精度可以忽略不计的损失。
2018-11-09 cs.LG stat.ML
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一，因为它能够揭示复杂结构之间的潜在关系。然而，大多数现有的方法，压缩网络逐层，这不能提供一个令人满意的解决方案，以实现全局优化。在本文中，我们提出了一种模型简化方法，使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法，用来抑制压缩过程中的不重要因素，从而更容易地显示出合适的秩。实验结果表明，与其他张量压缩方法相比，该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18，我们的简化模型在GMAC方面可以达到两倍以上的速度，而Top-1精度仅下降0.7%，这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Parameter Compression of Deep Neural Networks
Institute of Computing Intelligence, Polish Academy of Sciences（波兰科学院计算智能研究所）
提出自动可微非线性张量网络（ADNTNs）作为结构化权重生成器，通过反向模式自动微分端到端训练紧凑核心张量，实现深度神经网络的高效压缩，在AlexNet和VGG-16上达到每层2000倍至77000倍压缩比，且精度与密集基线相当或更优。
2026-07-07 cs.AI cs.LG
Learned Subspace Compression for Communication-Efficient Pipeline Parallelism
Concordia University（康科迪亚大学）；Mila；Quebec AI Institute（魁北克人工智能研究所）；CNRS, Sorbonne University（法国国家科学研究中心，索邦大学）
提出MAPL方法，通过Stiefel流形约束学习每个流水线阶段的任务最优正交投影，结合因子化锚点嵌入和残差向量量化，在低带宽网络中实现高压缩比且性能损失极小。
2026-06-03 cs.LG
Saten: Sparse Augmented Tensor Networks for Post-Training Compression of Large Language Models
University of California-Santa Barbara（加州大学圣巴巴拉分校）；Amazon（亚马逊）
针对预训练大型语言模型因高秩特性和缺乏预训练数据导致训练后压缩困难的问题，提出稀疏增强张量网络（Saten）框架，通过微调期间的低秩张量化实现全模型压缩，提升了准确性与压缩效率并达到最先进性能。
2025-10-13 cs.CL cs.LG
CP-decomposition with Tensor Power Method for Convolutional Neural Networks Compression
University of Science and Technology（科学技术大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
卷积神经网络（CNN）在包括复杂图像分类任务在内的许多领域都取得了巨大的成功。然而，它们需要大量的内存和计算成本，这阻碍了它们在智能手机等相对低端的智能设备中运行。提出了一种基于CP分解和张量幂方法的CNN压缩方法。我们还提出了一个迭代的微调，我们微调整个网络分解后的每一层，但分解前的下一层。显着减少内存和计算成本相比，国家的最先进的以前的工作，没有更多的精度损失。
2017-01-25 cs.LG
Tensorization is a powerful but underexplored tool for compression and interpretability of neural networks
Donostia International Physics Center（Donostia国际物理中心）；Multiverse Computing
本文探讨张量化神经网络（TNNs）作为压缩与可解释性工具，指出其潜力未被充分挖掘，并强调键索引带来的新潜在空间及未来研究方向。
2026-09-15 cs.AI cs.LG quant-ph
THC: Accelerating Distributed Deep Learning Using Tensor Homomorphic Compression
Harvard University（哈佛大学）；University College London（伦敦大学学院）；VMware Research（威睿研究中心）
针对分布式深度学习中双向梯度压缩带来的参数服务器计算开销大、压缩误差高的问题，提出支持压缩值直接聚合且兼容网内聚合的THC双向压缩框架，可显著提升训练速度。
2024-03-05 cs.AI cs.LG cs.NI
ByteComp: Revisiting Gradient Compression in Distributed Training
Rice University（莱斯大学）；ByteDance Inc.（字节跳动公司）
梯度压缩（GC）是解决分布式深度学习（DPL）中通信瓶颈的一种有前途的方法。然而，由于张量之间复杂的相互作用，因此找到将GC应用于XML的最佳压缩策略具有挑战性。为了充分发挥GC的优势，必须解决两个问题：1）如何表达所有压缩策略以及任何训练任务中张量之间的相应交互？2)如何快速选择接近最佳的压缩策略？在本文中，我们提出ByteComp来回答这些问题。它首先设计了一个决策树抽象来表达所有的压缩策略，并开发了时间轴张量计算，通信和压缩的经验模型，使ByteComp能够导出张量之间复杂的相互作用。然后，它设计了一个压缩决策算法，该算法分析张量交互，以消除和优先考虑策略，并最佳地将压缩卸载到CPU。实验评估表明，ByteComp可以将具有代表性的压缩训练作业的训练吞吐量提高77%。此外，选择压缩策略所需的计算时间是以毫秒为单位测量的，并且所选择的策略距离最佳策略只有百分之几。
2022-06-06 cs.DC cs.LG
Time and Memory Trade-off of KV-Cache Compression in Tensor Transformer Decoding
The University of Chicago（芝加哥大学）；Stevens Institute of Technology（史蒂文斯理工学院）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing at UC Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）
本研究将KV缓存空间复杂度下界推广至张量注意力，引入两种缓存类型，揭示时间与内存权衡，为高效张量Transformer提供理论基础。
2025-03-27 cs.AI cs.CC cs.CL
Learning-Based Image Compression for Machines
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究面向机器视觉任务的基于学习的图像压缩方法，提出微调和增强预训练压缩编码流程以融入下游任务，并报告了压缩流程在视觉任务上的性能表现。
2024-09-27 cs.CV cs.LG eess.IV
Tensorial Neural Networks: Generalization of Neural Networks and Application to Model Compression
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了张量神经网络（TNNs），现有的神经网络的推广，通过扩展张量操作的低阶操作的高阶的。参数学习的问题是具有挑战性的，因为它对应于分层非线性张量分解。我们建议使用随机梯度下降来解决学习问题，通过导出我们引入的广义张量代数中的非平凡反向传播规则。与现有的神经网络相比，我们提出的TNN有三个优点：（1）TNN自然地适用于高阶输入对象，从而保留了输入中的多维结构，因为不需要扁平化数据。(2)TNN解释现有神经网络架构的设计。(3)将神经网络映射到具有相同表达能力的TNN会导致TNN的参数更少。神经网络的基于TNN的压缩改进了现有的基于低秩近似的压缩方法，因为除了低秩之外，TNN还利用两种其他类型的不变结构，周期性和调制。在LeNet-5（MNIST），ResNet-32（CIFAR 10）和ResNet-50（ImageNet）上的实验表明，我们基于TNN的压缩在相同的压缩率下优于（CIFAR 10上普遍提高了5%的测试精度）最先进的基于低秩近似的压缩方法，此外由于TNN的效率，还实现了数量级更快的收敛速度。
2018-12-08 cs.LG stat.ML
Morphing-based Compression for Data-centric ML Pipelines
Technische Universität Berlin（柏林工业大学）
本文针对以数据为中心的机器学习流水线，提出BWARE技术，通过特征转换和工程推动工作负载感知的无损矩阵压缩，实现压缩表示的轻量级变形，显著缩短训练时间。
2025-04-15 cs.DB cs.DC cs.LG
Tensor Reordering for CNN Compression
Trinity College Dublin（都柏林圣三一学院）；Dublin City University（都柏林城市大学）
我们展示了如何在卷积神经网络（CNN）滤波器的参数冗余可以有效地减少修剪在谱域。具体来说，通过离散余弦变换（DCT）提取的表示比原始空间更有利于修剪。通过依赖于权重张量整形和重新排序的组合，我们实现了高水平的层压缩，而精度损失很小。我们的方法被应用于压缩预训练的CNN，我们表明，轻微的额外微调允许我们的方法在显著的参数减少后恢复原始模型的性能。我们在ResNet-50和MobileNet-V2架构上验证了我们的方法用于ImageNet分类任务。
2020-10-22 cs.CV cs.LG
Prune-Quantize-Distill: An Ordered Pipeline for Efficient Neural Network Compression
Institute of Advanced Technology University of Science；Supercomputing Center University of Science
本文提出一种有序流程，结合剪枝、量化训练和知识蒸馏，以提高模型压缩的效率和准确性，在CIFAR-10/100数据集上验证了该流程在精度、大小和延迟方面的优势。
2026-04-05 cs.AI cs.CL cs.LG
Back-and-Forth prediction for deep tensor compression
Simon Fraser University（西蒙弗雷泽大学）
最近的人工智能应用，例如具有神经网络的协作智能，涉及在各种计算设备之间传输深度特征张量。这需要张量压缩，以便优化设备之间带宽受限通道的使用。在本文中，我们提出了一种称为前后（BaF）预测的预测方案，该方案是为深度特征张量开发的，它允许我们显着减小张量大小并提高其可压缩性。我们与最先进的对象检测器的实验表明，所提出的方法使我们能够显着减少压缩从模型中提取的特征张量所需的位数，检测性能的下降可以忽略不计，并且不需要对网络权重进行任何重新训练。我们实现了张量大小减少62%和75%，同时保持网络准确性的损失分别小于1%和2%。
2020-02-14 cs.LG eess.IV eess.SP
The core consistency of a compressed tensor
University of California, Riverside（加州大学河滨分校）
大数据上的张量分解最近引起了极大的关注。其中最流行的方法是一类算法，它利用压缩来减少张量的大小，并可能并行计算。这种方法正常工作的基本要求是在压缩时保留低秩张量结构。代替高效和现实的手段计算和研究压缩对张量低秩的影响，我们研究压缩对核心一致性的影响;一个广泛使用的启发式算法，已被用作估计低秩的代理。我们提供了理论分析，在那里我们确定压缩的充分条件，使核心的一致性得到保留，我们进行了广泛的实验，验证我们的分析。此外，我们探讨流行的压缩方案，以及它们如何影响核心的一致性。
2018-11-18 cs.LG eess.SP stat.ML
KARIPAP: Quantum-Inspired Tensor Network Compression of Large Language Models Using Infinite Projected Entangled Pair States and Tensor Renormalization Group
Institute of Mathematical Research, University Putra Malaysia（马来西亚博特拉大学数学研究所）
提出量子启发张量网络压缩方法KARIPAP，利用iPEPS和TRG捕获层间多方向纠缠，在LLaMA-2 7B上实现93%内存和70%参数缩减，仅损失2-3%准确率。
2025-10-22 cs.LG quant-ph
HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression
NVIDIA（英伟达）；Caltech（加州理工学院）
Transformers在自然语言处理和计算机视觉方面取得了卓越的性能。它们的自我注意和前馈层是过度参数化的，限制了推理速度和能量效率。张量分解是一种很有前途的技术，通过利用张量代数性质来表示因子分解形式的参数，以减少参数冗余。先前的努力使用手动或启发式因子分解设置，而没有硬件感知的定制，导致硬件效率低下和性能大幅下降。在这项工作中，我们提出了一个硬件感知的张量分解框架，称为HEAT，它可以有效地探索可能的分解的指数空间，并通过硬件感知的协同优化自动选择张量化形状和分解秩。我们共同研究张量收缩路径优化和融合Einsum映射策略，以弥合理论优势和实际硬件效率提高之间的差距。我们的两阶段知识蒸馏流程解决了可训练性瓶颈，从而显著提高了因子化Transformers的最终准确性。总的来说，我们的实验表明，我们的硬件感知因子分解BERT变体将能量延迟产品减少了5.7倍，准确性损失小于1.1%，并实现了比手动调整和启发式基线更好的效率-准确性帕累托前沿。
2022-11-30 cs.AI cs.AR cs.LG
OCTen: Online Compression-based Tensor Decomposition
UC Riverside（加州大学河滨分校）
张量分解是大数据分析的强大工具，因为它们将数据的多个方面联合建模到一个框架中，并能够发现数据中的潜在结构和高阶相关性。最广泛研究和使用的分解之一，特别是在数据采掘和机器学习中，是规范多矢或CP分解。然而，今天的数据集并不是静态的，这些数据集经常随着时间的推移而动态增长和变化。要操作这样大的数据，我们提出OCTen有史以来第一次基于压缩的在线并行实现的CP分解。我们进行了广泛的实证分析的算法在健身，内存使用和CPU时间，为了证明该方法的压缩和可扩展性，我们应用OCTen大张量数据。OCTen在分解精度和效率方面与最先进的在线和在线方法不相上下或更好，同时节省高达40- 200%的内存空间。
2018-07-03 cs.LG stat.ML
Reduced storage direct tensor ring decomposition for convolutional neural networks compression
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
本文提出基于降存储直接张量环分解（RSDTR）的低秩CNN压缩方法，通过更灵活的循环模式置换实现高参数与FLOPS压缩率，并在CIFAR-10和ImageNet上验证其优于现有方法。
2024-08-05 cs.CV cs.LG
Efficient AutoML Pipeline Search with Matrix and Tensor Factorization
Cornell University（康奈尔大学）
在新数据集上寻求良好的监督学习模型的数据科学家有很多选择：他们必须预处理数据，选择特征，可能降低维度，选择估计算法，并为每个管道组件选择超参数。新的管道组件带来了选择数量的组合爆炸!在这项工作中，我们设计了一个新的AutoML系统来应对这一挑战：一个自动化系统来设计一个监督学习管道。我们的系统使用矩阵和张量因式分解作为代理模型来模拟组合管道搜索空间。在这些模型下，我们开发了贪婪实验设计协议，以有效地收集有关新数据集的信息。在真实世界分类问题的大型语料库上的实验证明了该方法的有效性。
2020-06-07 cs.AI cs.LG stat.ML
Convolutional neural networks compression with low rank and sparse tensor decompositions
Skoltech（斯科尔特科技学院）
卷积神经网络在各种计算机视觉任务中表现出优异的性能。然而，神经网络架构设计通常面临模型性能和计算/存储器复杂度之间的权衡。对于一些现实世界的应用程序，开发模型至关重要，这些模型可以快速而轻巧地在边缘系统和移动设备上运行。然而，许多表现出良好性能的现代体系结构不满足推理时间和存储限制的要求。因此，出现了一个问题，神经网络压缩，以获得一个更小，更快的模型，这是与初始的。在这项工作中，我们考虑一个神经网络压缩方法的基础上张量分解。也就是说，我们建议用一个张量来近似卷积层权重，它可以表示为低秩和稀疏分量的总和。这种近似的动机是基于这样的假设，即低秩和稀疏项允许消除两种不同类型的冗余，从而产生更好的压缩率。一个有效的CPU实现所提出的方法已经开发。我们的算法在压缩Resnet 50架构用于图像分类任务时，表现出高达3.5倍的CPU层加速和11倍的层大小减少。
2020-06-11 cs.CV cs.LG
Tensorized Embedding Layers for Efficient Model Compression
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute of Numerical Mathematics, RAS, Moscow, Russia（俄罗斯科学院数学数值研究所）
将输入单词转换为真实向量的嵌入层是用于自然语言处理的深度神经网络的关键组件。然而，当词汇量很大时，相应的权重矩阵可能是巨大的，这妨碍了它们在有限资源环境中的部署。我们介绍了一种新的方法参数化嵌入层的基础上张量训练（TT）分解，它允许压缩模型显着的成本可以忽略不计的下降，甚至略有增益的性能。我们评估我们的方法在自然语言处理的基准测试范围广泛，并分析了性能和压缩比之间的权衡范围广泛的架构，从MLP到LSTM和Transformers。
2020-02-19 cs.CL cs.LG
How Informative is the Approximation Error from Tensor Decomposition for Neural Network Compression?
TU Delft（代尔夫特理工大学）
本研究通过实验评估张量分解中权重近似误差与模型性能的相关性，发现该误差可作为压缩层和分解方法选择的代理指标，且基于特征的近似误差并未显著改善相关性。
2023-08-04 cs.LG
Tensor-Train Point Cloud Compression and Efficient Approximate Nearest-Neighbor Search
Skolkovo（斯科尔科沃）；AIRI；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究提出基于张量列低秩分解的点云表示新方法，结合概率解释与密度估计损失实现鲁棒压缩，利用其内在层次结构加速近似最近邻搜索，在OOD检测、ANN搜索等场景中验证了有效性。
2024-10-06 cs.CV cs.LG
Lossless Compression for LLM Tensor Incremental Snapshots
IBM Research, Almaden Research Center（IBM研究院，阿姆德恩研究中心）
本文分析 LLM 训练检查点张量的可压缩性，提出基于 byte-grouping 与 Huffman 编码的 LMC，在压缩率优于 BZ2 的同时显著提速。
2025-05-14 cs.LG
Compression and Interpretability of Deep Neural Networks via Tucker Tensor Layer: From First Principles to Tensor Valued Back-Propagation
这项工作旨在帮助解决深度神经网络（DNN）应用中的两个主要障碍，即大量的可训练参数及其物理可解释性。这是通过基于所提出的Tucker张量层（TTL）的张量值方法来实现的，作为DNN的密集权重矩阵的替代方案。这允许我们将一般DNN的权重矩阵视为高阶权重张量的矩阵展开。凭借张量分解的压缩特性，这使我们能够引入一种新颖而有效的框架，用于利用权重张量的多路性质，以显着减少DNN参数的数量。我们还推导出张量值的TTL框架内的反向传播算法，通过扩展的概念矩阵导数张量。通过这种方式，利用Tucker分解的物理可解释性，通过计算每个因子矩阵的梯度过程，获得对NN训练的物理见解。所提出的框架验证的合成数据，和基准数据集MNIST，时尚MNIST，和CIFAR-10。总的来说，通过提供训练中每个数据特征的相对重要性的能力，TTL反向传播被证明有助于减轻NN固有的“黑匣子”性质。实验结果表明，TTL算法在MNIST和Fashion-MNIST上实现了66.63倍的压缩，而通过简化VGG-16网络，在训练时间上实现了10%的加速，性能相当.
2020-01-06 cs.CV cs.LG eess.SP
Geometry is All You Need: A Unified Taxonomy of Matrix and Tensor Factorization for Compression of Generative Language Models
Imperial College London（帝国理工学院）
针对矩阵/张量参数化与NLP模型压缩研究脱节、缺乏统一框架的问题，本文提出基于子空间概念的统一分类体系，将矩阵张量分解转化为几何变换表述，梳理相关研究并指出研究空白与方向。
2024-10-03 cs.CL cs.LG cs.NA
Asymptotic Optimism for Tensor Regression Models with Applications to Neural Network Compression
Rice University（莱斯大学）；University of Minnesota（明尼苏达大学）
本文研究了低秩张量回归中秩选择问题，推导了在随机协变量设计下的期望训练-测试分歧表达式，并提出了一种以预测为导向的秩选择规则，扩展到张量模型平均，并展示了其在图像回归任务中的实用性。
2026-03-27 cs.LG math.ST stat.ML
An Adaptive Tensor-Train Decomposition Approach for Efficient Deep Neural Network Compression
Computational Science Research Center（计算科学研究中心）；University of California Irvine（加州大学尔湾分校）；University of California, Davis（加州大学戴维斯分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Mathematics（数学系）；Department of Computer Science（计算机科学系）；California State University Fullerton（加州州立大学富尔顿分校）
针对张量分解中张量秩选择计算复杂度高的问题，提出一种基于LWIQ的自动预算感知秩选择方法，通过代理分类器评估各层重要性并自适应调整秩，显著提升了搜索效率并实现了良好的模型压缩效果。
2025-09-16 cs.LG
A Full Compression Pipeline for Green Federated Learning in Communication-Constrained Environments
Chair of Information Theory and Data Analytics (INDA), RWTH Aachen University（信息理论与数据分析教授职位（INDA），亚琛工业大学）
本文提出一种完整压缩流水线FCP，通过整合剪枝、量化和霍夫曼编码技术，减少联邦学习中的通信和计算开销，提升效率与可持续性。
2026-04-14 cs.DC cs.LG
Enabling Lightweight Fine-tuning for Pre-trained Language Model Compression based on Matrix Product Operators
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Renmin University of China（中国人民大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；School of Information, Renmin University of China（中国人民大学信息学院）
提出了一种基于量子多体物理矩阵乘积算子的预训练语言模型压缩方法。它可以将原始矩阵分解为中心张量（包含核心信息）和辅助张量（只有一小部分参数）。在此基础上，提出了一种仅通过辅助张量更新参数的微调策略，并设计了一种基于MPO的堆叠网络结构优化算法.我们的方法可以应用于原始或压缩PLM中的一般方式，从而得到一个更轻的网络，并显着减少了参数进行微调。大量的实验证明了该方法在模型压缩中的有效性，特别是微调参数的减少（平均减少91%）。
2021-06-04 cs.AI cs.LG quant-ph
Entropy-Guided Tensor Compression for Multimodal Federated Learning on Edge Devices
FAMU-FSU College of Engineering, Florida State University（佛罗里达农工大学-佛罗里达州立大学工程学院）
针对边缘设备上多模态联邦学习中客户端能力差异问题，提出熵引导的MESH-FL框架，通过截断奇异值分解估计频谱熵，自适应分配MPS压缩秩，实验表明该框架能高效压缩并提升准确率，减少传输数据。
2026-07-09 cs.LG
Fast Tensorization of Neural Networks via Slice-wise Feature Distillation
Donostia International Physics Center（多斯蒂亚国际物理中心）；Multiverse Computing（多维计算）；Ikerbasque Foundation for Science（伊克尔巴斯基科学基金会）
本文提出了一种基于切片特征蒸馏的可扩展张量化框架，用于神经网络压缩。该方法通过将网络分解为独立的切片（如单个层或块），并独立张量化每个切片以恢复原始预训练模型的中间表示，从而提高精度恢复、减少数据需求并实现高效的并行优化。
2026-05-19 cs.LG
Wide Compression: Tensor Ring Nets
Purdue University（普渡大学）；Technicolor Research（泰克尼科尔研究（Technicolor Research））；Adobe（Adobe公司）；Duke University（杜克大学）
深度神经网络已经在各种现实世界的应用中展示了最先进的性能。为了获得性能增益，这些网络变得越来越大，越来越深，包含数百万甚至数十亿个参数和上千层。代价是这些大型架构需要大量的内存、存储和计算，从而限制了它们的可用性。受最近的张量环分解的启发，我们引入了张量环网络（TR-Nets），它显著压缩了深度神经网络的全连接层和卷积层。我们的研究结果表明，我们的TR-网络方法{能够通过$11\times$压缩LeNet-5而不损失准确性}，并且可以通过$243\times$压缩最先进的Wide ResNet，在{Cifar 10图像分类}中只有2.3\%的退化。总的来说，这种压缩方案在科学计算和深度学习中显示出了前景，特别是对于新兴的资源受限设备，如智能手机，可穿戴设备和物联网设备。
2018-02-25 cs.CV cs.LG stat.ML
Activation Map Compression through Tensor Decomposition for Deep Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎综合理工学院）
针对嵌入式设备上反向传播内存占用高的挑战，提出基于SVD和高阶SVD张量分解的激活图压缩方法，在保留学习特征和理论收敛性的同时实现内存节省，并在泛化与内存权衡上表现优越。
2024-11-10 cs.CV cs.LG
Distribution-Aware Tensor Decomposition for Compression of Convolutional Neural Networks
CEA（法国原子能委员会）；INRIA（法国国家信息与自动化研究所）
针对卷积神经网络压缩问题，提出分布感知张量分解方法，通过最小化层输出分布变化优化低秩近似，无需微调即可达到竞争精度，且范数可跨数据集转移，实验验证其在多架构和数据集上的优势。
2025-11-12 cs.CV cs.LG
Quantized Sparse Weight Decomposition for Neural Network Compression
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）
本文介绍了一种新的神经网络权值压缩方法。在我们的方法中，我们将权重张量存储为稀疏的量化矩阵因子，其乘积在推理过程中动态计算以生成目标模型的权重。我们使用投影梯度下降方法来找到量化和稀疏分解的权重张量。我们表明，这种方法可以被看作是一个统一的权重SVD，矢量量化，稀疏PCA。结合端到端的微调，我们的方法在准确性和模型大小之间的权衡方面超过或等同于以前的最先进的方法。我们的方法是适用于温和的压缩制度，不像矢量量化，和极端的压缩制度。
2022-07-22 cs.LG
TT-Rec: Tensor Train Compression for Deep Learning Recommendation Models
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI（脸书人工智能研究院）
在整个行业中，深度学习推荐模型（DLRM）中嵌入表的内存容量正在从数十GB急剧增加到TB。鉴于DLRM的快速增长，迫切需要新的解决方案，以实现快速有效的DLRM创新。与此同时，必须在不必成倍增加基础设施容量需求的情况下做到这一点。在本文中，我们证明了有前途的潜力张量训练分解DLRM（TT-Rec），一个重要的，但调查的背景下。我们设计并实现了优化的内核（TT-EmbeddingBag）来评估所提出的TT-Rec设计。TT-EmbeddingBag比SOTA TT实现快3倍。TT-Rec的性能进一步优化与批量矩阵乘法和缓存策略嵌入向量查找操作。此外，我们在数学上和经验上提出了权重初始化分布对DLRM精度的影响，并建议按照采样的高斯分布初始化TT-Rec的张量核。我们通过使用Criteo的Kaggle和Terabyte数据集训练MLPerf-DLRM，在三个重要的设计空间维度（内存容量、准确性和时序性能）上评估TT-Rec。TT-Rec分别为Kaggle和Terabyte实现了117倍和112倍的模型大小压缩。与未压缩的基线相比，这种令人印象深刻的模型大小缩减可能不会带来准确性或训练时间开销。
2021-01-25 cs.LG
