Ultimate tensorization: compressing convolutional and FC layers alike
Moscow State University（莫斯科国立大学）；Yandex；National Research University Higher School of Economics（国家研究型大学高等经济学院）；Institute of Numerical Mathematics of the Russian Academy of Sciences（俄罗斯科学院数值数学研究所）
卷积神经网络在图像识别任务中表现出色，但这是以高计算和存储复杂性为代价的。为了解决这个问题，[1]开发了一个张量分解框架来压缩全连接层。在本文中，我们专注于压缩卷积层。我们表明，虽然直接将张量框架[1]应用于卷积的4维核确实压缩了层，但我们可以做得更好。我们将卷积核重塑为高阶张量并对其进行因子分解。我们将所提出的方法与之前的工作相结合，以压缩网络的卷积层和全连接层，并在CIFAR-10数据集上实现80倍的网络压缩率，准确率下降1.1%。
2016-11-10 cs.LG
Tensorized Embedding Layers for Efficient Model Compression
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute of Numerical Mathematics, RAS, Moscow, Russia（俄罗斯科学院数学数值研究所）
将输入单词转换为真实向量的嵌入层是用于自然语言处理的深度神经网络的关键组件。然而，当词汇量很大时，相应的权重矩阵可能是巨大的，这妨碍了它们在有限资源环境中的部署。我们介绍了一种新的方法参数化嵌入层的基础上张量训练（TT）分解，它允许压缩模型显着的成本可以忽略不计的下降，甚至略有增益的性能。我们评估我们的方法在自然语言处理的基准测试范围广泛，并分析了性能和压缩比之间的权衡范围广泛的架构，从MLP到LSTM和Transformers。
2020-02-19 cs.CL cs.LG
Compressing Representations for Embedded Deep Learning
School of Electrical and Computer Engineering（电气与计算机工程学院）；QuintoAndar, Inc.（QuintoAndar公司）
尽管最近在移动设备的架构方面取得了进展，但对于大多数嵌入式设备而言，深度学习计算要求仍然过高。为了解决这个问题，我们设想在本地设备和云之间共享推理的计算成本，利用网络第一层执行的压缩来降低通信成本。在这种分布式环境中的推理将允许新的应用，但需要平衡计算成本，通信带宽和模型精度之间的三重权衡。我们通过研究MobileNetV2不同阶段表示的可压缩性来探索这种权衡，表明这些结果与深度学习的理论直觉一致，并且可以通过简单的基于PCA的压缩方案找到网络的最佳分裂层。
2019-11-23 cs.LG stat.ML
Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Haifa（海法大学）
我们提出了一种新的全局压缩框架，用于深度神经网络，自动分析每一层，以确定最佳的每层压缩比，同时实现所需的整体压缩。我们的算法依赖于压缩每个卷积（或全连接）层的想法，将其信道切片为多个组，并通过低秩分解来分解每个组。在我们的算法的核心是从EckartYoungMirsky定理推导逐层误差界。然后，我们利用这些界限来框架的压缩问题作为一个优化问题，我们希望最大限度地减少跨层的最大压缩误差，并提出了一个有效的算法解决方案。我们的实验表明，我们的方法优于现有的低秩压缩方法在广泛的网络和数据集。我们相信，我们的研究结果为未来研究现代神经网络的全局性能-大小权衡开辟了新的途径。我们的代码可在https://github.com/lucaslie/torchprune上获得。
2021-11-18 cs.AI cs.CV cs.LG
Dynamically Hierarchy Revolution: DirNet for Compressing Recurrent Neural Network on Mobile Devices
Arizona State University（亚利桑那州立大学）；Samsung Research America（三星美国研究院）
递归神经网络（RNN）在各种问题上实现了尖端性能。然而，由于其高计算和内存需求，在资源受限的移动设备上部署RNN是一项具有挑战性的任务。为了在保证较高压缩率的同时保证最小的精度损失，并满足移动资源需求，提出了一种基于优化快速字典学习算法的模型压缩方法DirNet，该算法1）动态挖掘层内投影字典矩阵的字典原子以调整压缩率2）自适应地改变稀疏码的稀疏度.在语言模型和使用1000 h语音数据集训练的ASR模型上的实验结果表明，该方法的性能明显优于现有方法。在现成的移动设备上进行评估，我们能够将原始模型的大小减少八倍，同时具有实时模型推理和可忽略的准确性损失。
2018-06-08 cs.LG stat.ML
Beyond Adjacent Layers: Graph-Guided Layer Fusion for Compressing Large Language Models
Braindeck Inc（Braindeck公司）
该研究针对大语言模型深度压缩中仅利用相邻层冗余的局限，提出图引导的社区挖掘融合法FCM，通过谱社区检测合并功能等价层，在2倍压缩下多数模型的困惑度优于现有方法，还提升了多项下游任务性能。
2026-10-14 cs.LG
Compressing Models with Few Samples: Mimicking then Replacing
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Meituan（美团）
少样本压缩的目的是将一个大的冗余模型压缩成一个小的紧凑的模型，只有少量的样本。如果我们直接用这些有限的样本来微调模型，模型将很容易过拟合，几乎什么也学不到。因此，以前的方法逐层优化压缩模型，并试图使每一层具有与教师模型中对应层相同的输出，这是繁琐的。在本文中，我们提出了一个新的框架命名为模仿，然后替换（MiR）的少样本压缩，首先敦促修剪模型输出相同的功能，教师的倒数第二层，然后取代教师的倒数第二层与调优紧凑。与以前的逐层重建方法不同，我们的MiR从整体上优化了整个网络，不仅简单有效，而且无监督和通用。MiR优于以前的方法，具有较大的利润率。代码将很快可用。
2022-01-07 cs.CV cs.LG
Modular Transformers: Compressing Transformers into Modularized Layers for Flexible Efficient Inference
ETH Zurich（苏黎世联邦理工学院）；Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
针对静态压缩压缩比固定的问题，本文提出 Modular Transformers，通过模块替换与知识蒸馏训练可替换连续层的模块化层，一次训练后灵活组装以获得 1.1x 至 6x 压缩比。
2023-06-04 cs.CL cs.LG
Revisiting Intermediate Layer Distillation for Compressing Language Models: An Overfitting Perspective
KAIST（韩国科学技术院）
知识蒸馏（KD）是一种非常有前途的方法，用于减轻预训练语言模型（PLM）的计算问题。在各种KD方法中，中间层蒸馏（ILD）已成为NLP领域的事实标准KD方法。在本文中，我们发现现有的ILD方法容易过拟合训练数据集，尽管这些方法比原始KD传递更多的信息。接下来，我们提出了一些简单的观察来减轻ILD的过拟合：只提取最后一个Transformer层，并在补充任务上进行ILD。基于我们的两个发现，我们提出了一个简单而有效的一致性正则化ILD（CR-ILD），它可以防止学生模型过度拟合训练数据集。在GLUE基准数据集和多个合成数据集上提取BERT的大量实验表明，我们提出的ILD方法优于其他KD技术。我们的代码可在https://github.com/jongwooko/CR-ILD上获得。
2023-02-03 cs.AI cs.CL cs.LG
SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Zhejiang University of Technology（浙江工业大学）；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Southwest University（西南大学）；The City College of New York（纽约城市学院）；Shenzhen University of Advanced Technology（深圳大学）
针对现有层剪枝方法忽略层间依赖易损失预训练模型核心特征的问题，提出SGLP相似度引导层分区剪枝框架，结合CKA相似度计算、Fisher最优分割与GradNorm免微调评估，在图像分类和LLM任务上实现了更优的压缩精度与效率。
2025-11-14 cs.CV cs.LG
Compressing CNN models for resource-constrained systems by channel and layer pruning
Norwegian University of Science and Technology（挪威科学技术大学）
本文提出一种结合通道与层剪枝的混合剪枝框架，受EfficientNet启发反向缩减网络，在显著降低模型复杂性的同时保持精度，并减少边缘设备部署延迟。
2025-09-10 cs.LG
Compressing Neural Language Models by Sparse Word Representations
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
神经网络是用于语言建模的最先进的技术之一。现有的神经语言模型通常将离散单词映射到分布式的密集向量表示。在通过隐藏层对前面的上下文单词进行信息处理之后，输出层估计下一个单词的概率。由于用于词嵌入和输出层的大量参数，这种方法是时间和内存密集型的。在本文中，我们提出了压缩神经语言模型的稀疏词表示。在实验中，我们的模型中的参数的数量增加非常缓慢的词汇量的增长，这是几乎察觉不到的。此外，我们的方法不仅减少了参数空间在很大程度上，但也提高了性能方面的困惑措施。
2016-10-13 cs.CL cs.LG
CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing
CommonKV提出一种免训练的跨层KV缓存压缩方法，通过相邻参数共享和SVD权重共享实现潜在缓存合并，并引入基于余弦相似度的自适应预算分配，在多个基准上以98%压缩比保持性能。
2025-08-22 cs.AI cs.LG
Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks
The University of Hong Kong（香港大学）
在压缩深度神经网络（DNN）时，已经探索了深度、宽度、核大小和分辨率方面的弹性。认识到卷积神经网络（CNN）中的内核是4向张量，我们进一步利用沿输入输出通道的新弹性维度。具体而言，提出了一种新的核范数秩最小化因子分解（NRMF）方法，用于在训练过程中动态全局搜索降低的张量秩。揭示了多层张量秩之间的相关性，并在模型大小和精度之间获得了一个优雅的折衷。实验结果表明，NRMF优于以前的非弹性变分贝叶斯矩阵分解（VBMF）计划。
2021-05-10 cs.LG
Layer as Puzzle Pieces: Compressing Large Language Models through Layer Concatenation
South China University of Technology（华南理工大学）；JD Explore Academy（JD探索学院）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；University of Sydney（悉尼大学）；Pazhou Lab（琶洲实验室）
提出CoMe方法，通过拼接合并层与分层蒸馏，渐进式剪枝大型语言模型，在剪除30%参数时保留83%平均准确率。
2025-10-17 cs.CV cs.LG
Compressing Deep Convolutional Networks using Vector Quantization
Facebook AI Research（脸书人工智能研究院）；Snapchat（色拉布）
深度卷积神经网络（CNN）已成为最有前途的对象识别方法，近年来多次展示了图像分类和目标检测的破纪录结果。然而，非常深的CNN通常涉及具有数百万个参数的许多层，使得网络模型的存储量非常大。这禁止在资源有限的硬件上使用深度CNN，尤其是手机或其他嵌入式设备。在本文中，我们通过研究用于压缩CNN参数的信息理论矢量量化方法来解决这个模型存储问题。特别是，我们发现在压缩最需要存储的密集连接层方面，矢量量化方法比现有的矩阵分解方法有明显的优势。简单地将k均值聚类应用于权重或进行乘积量化可以在模型大小和识别精度之间实现非常好的平衡。对于ImageNet挑战中的1000个类别分类任务，我们能够使用最先进的CNN实现16-24倍的网络压缩，而分类精度仅损失1%。
2014-12-18 cs.CV cs.LG cs.NE
Multi-teacher knowledge distillation as an effective method for compressing ensembles of neural networks
AGH University of Science and Technology（AGH科技大学）
近年来，深度学习为人工智能的许多成功做出了巨大贡献。如今，训练具有数千层和数千亿参数的模型已经成为可能。大规模深度模型已经取得了巨大的成功，但是巨大的计算复杂性和巨大的存储需求使得在实时应用中实现它们极其困难。另一方面，数据集的大小在许多领域仍然是一个真正的问题。数据往往缺失、过于昂贵或由于其他原因无法获得。包围学习部分解决了小数据集和过拟合的问题。然而，集成学习在其基本版本中与计算复杂性的线性增加相关联。我们分析了集成决策融合机制的影响，并检查了包括投票算法在内的各种决策共享方法。我们使用修改后的知识蒸馏框架作为决策融合机制，它允许另外压缩整个集成模型到一个单一的模型的权重空间。我们发现，知识蒸馏可以在一个学生模型中聚合来自多个教师的知识，并且在相同的计算复杂性下，与以标准方式训练的模型相比，获得性能更好的模型。我们已经开发出了自己的方法，可以同时模仿所有教师的反应。我们在几个基准数据集上测试了这些解决方案。最后，给出了多教师知识蒸馏框架的广泛应用。在第一个例子中，我们使用知识蒸馏来开发可以自动检测飞机机身腐蚀的模型。第二个例子描述了在观测摄像机上探测烟雾以对抗森林野火。
2023-02-14 cs.LG
Auto-Compressing Networks
National Technical University of Athens（国家技术大学雅典）；Archimedes RU, Athena RC（阿基米德RU，雅典RC）；Institute of Language and Speech Processing, Athena RC（语言与语音处理研究所，雅典RC）
本文提出自动压缩网络（ACNs），用逐层到输出的长前馈连接替代短残差连接，使网络在训练中自动压缩信息、动态利用各层，从而在保持准确率的同时实现30–80%架构压缩，并提升噪声鲁棒性、迁移学习能力及缓解灾难性遗忘。
2025-11-07 cs.LG
Deep $k$-Means: Re-Training and Parameter Sharing with Harder Cluster Assignments for Compressing Deep Convolutions
Texas A&M University（德州农工大学）；Rice University（莱斯大学）
当前用卷积将CNN推得更深的趋势已经产生了对CNN实现更高压缩增益的迫切需求，其中卷积主导计算和参数量（例如，GoogLeNet、ResNet和Wide ResNet）。此外，卷积的高能耗限制了其在移动设备上的部署。为此，我们提出了一个简单而有效的方案，通过应用k-均值聚类的权重压缩卷积，压缩是通过权重共享，通过只记录$K$聚类中心和权重分配指数。然后，我们引入了一种新的谱松弛$k$均值正则化，其倾向于在重新训练期间将卷积层权重硬分配给$K$学习的聚类中心。我们还提出了一组改进的度量来估计CNN硬件实现的能耗，其估计结果被验证为与先前提出的从实际硬件测量外推的能量估计工具一致。我们最终在压缩比和能耗降低方面评估了几个CNN模型的Deep $k$ -Means，观察到了有希望的结果，而不会导致准确性损失。代码可在https://github.com/Sandbox3aster/Deep-K-Means上获得
2018-06-24 cs.CV cs.LG stat.ML
Compressing RNNs for IoT devices by 15-38x using Kronecker Products
Arm ML Research Lab（安谋机器学习研究实验室）
由于递归神经网络（RNN）的大小，它可能很难部署在资源受限的设备上。因此，需要一种可以显着压缩RNN而不会对任务准确性产生负面影响的压缩技术。本文介绍了一种利用Kronecker积（KP）对资源受限环境下的RNN进行压缩的方法。KPs可以将RNN层压缩15- 38倍，精度损失最小。通过将生成的模型量化为8位，我们进一步将压缩因子推到50倍。我们表明，KP可以在跨越3个不同应用程序的5个基准测试中击败其他最先进的压缩技术所实现的任务准确性，同时提高推理运行时间。我们发现，KP压缩机制确实引入了准确性损失，这可以通过建议的混合KP（HKP）方法来减轻。我们的HKP算法提供了对压缩比的细粒度控制，使我们能够通过添加少量的模型参数来恢复压缩过程中丢失的精度。
2020-01-31 cs.LG cs.NE stat.ML
Rank Selection of CP-decomposed Convolutional Layers with Variational Bayesian Matrix Factorization
University of Science and Technology（科学技术大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
卷积神经网络（Convolutional Neural Networks，CNN）是一种在图像分类等领域取得成功的方法。然而，由于内存和计算能力的限制，CNN推理所需的内存量和计算成本阻碍了它们在移动设备中有效运行。压缩CNN的方法之一是迭代地压缩层，即通过逐层压缩和微调，在卷积层中进行CP分解。为了用CP分解进行压缩，秩的选择是重要的。在以前的方法秩选择的基础上，每一层的灵敏度，平均秩的网络仍然是任意选择的。此外，在整个迭代压缩过程之前，确定了所有层的秩，而一个层的秩可以通过微调来改变。因此，本文提出使用变分贝叶斯矩阵分解（VBMF）来选择每一层的秩，这比任意的方法更系统。此外，为了考虑在先前迭代的微调之后每个层的秩的变化，该方法在压缩目标层之前应用，即在先前迭代的微调之后应用。结果显示更好的准确性，同时在AlexNet的卷积层压缩中也具有更高的压缩率。
2018-01-16 cs.LG
Compressing Convolutional Neural Networks
Washington University in St. Louis（圣路易斯华盛顿大学）；NVIDIA（英伟达）
卷积神经网络（CNN）越来越多地用于计算机视觉的许多领域。它们特别有吸引力，因为它们能够通过数百万个参数“吸收”大量标记数据。然而，随着模型大小的增加，分类器的存储和内存需求也会增加。我们提出了一种新的网络架构，频率敏感散列网（FreshNets），它利用了深度学习模型的卷积层和全连接层的固有冗余，从而大大节省了内存和存储消耗。基于学习卷积滤波器的权重通常是平滑和低频的关键观察结果，我们首先使用离散余弦变换（DCT）将滤波器权重转换到频域，并使用低成本哈希函数将频率参数随机分组到哈希桶中。所有分配给同一个哈希桶的参数共享一个通过标准反向传播学习的值。为了进一步减小模型大小，我们将更少的哈希桶分配给高频分量，这些分量通常不太重要。我们在八个数据集上评估了FreshNets，并表明它比几个相关的基线具有更好的压缩性能。
2015-06-14 cs.CV cs.LG cs.NE
Compressing Many-Shots in In-Context Learning
Google（谷歌）；UCLA（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对 ICL 中多样本提示导致的内存与计算开销，论文提出逐层软 token 压缩方法 MemCom，并证明其在 3x–8x 压缩率下显著优于基线。
2025-10-17 cs.AI cs.LG
Memory based fusion for multi-modal deep learning
Queensland University of Technology（昆士兰科技大学）
与具有多模态特征的融合的单模态方法相比，使用多模态数据进行深度机器学习已经显示出前景，从而在若干应用中提高了性能。然而，大多数最先进的方法使用朴素融合，其独立地处理特征流，忽略了融合期间数据内可能的长期依赖性。在本文中，我们提出了一种新的基于记忆的注意力融合层，它通过将当前特征和数据中的长期依赖关系结合起来来融合模式，从而使模型能够理解模式随时间的相对重要性。我们在融合层中引入了一个显式的内存块，它存储包含融合数据的长期依赖关系的功能。来自单峰编码器的特征输入通过细心的合成和变换进行融合，然后将所得的记忆导出特征与层输入进行朴素融合。按照国家的最先进的方法，我们已经评估了性能和所提出的融合方法的通用性在两个不同的数据集与不同的方式。在我们的实验中，我们用我们提出的层替换了基准网络中的朴素融合层，以进行公平的比较。实验结果表明，MBAF层可以推广到不同的模态和网络，以增强融合和提高性能。
2020-10-23 cs.CV cs.LG stat.ML
Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression
Information Technologies Institute (ITI), Centre for Research and Technology HELLAS (CERTH)（信息技术研究所（ITI），希腊研究与技术中心（CERTH））
研究语言模型压缩问题，结合神经元重要性和数据感知低秩近似方法，提出动态压缩率分配算法，实验表明该方法在高压缩率下性能与或优于现有技术。
2026-07-22 cs.AI cs.LG
Compressing 1D Time-Channel Separable Convolutions using Sparse Random Ternary Matrices
Hasso Plattner Institute（哈索·普拉特纳研究院）；NVIDIA（英伟达）
我们证明了一维时间通道可分离卷积中的1 × 1卷积可以用$\{-1,0,+1\}$中的带权重的稀疏随机三进制矩阵来代替。这样的层不执行任何乘法并且不需要训练。此外，矩阵可以在计算期间在芯片上生成，因此不需要任何存储器访问。在相同的参数预算下，我们可以提供更深入和更具表现力的模型，改善现有模型在几个任务上的帕累托边界。对于Google Speech Commands v1上的命令识别，我们在相同的网络大小下将最先进的准确性从$97.21\%$提高到了$97.41\%$。或者，我们可以降低现有模型的成本。对于Librispeech上的语音识别，我们将训练的权重数量减半，而只牺牲了浮点基线单词出错率的$1\%$。
2021-04-02 cs.LG eess.SP
Compressing Language Models using Doped Kronecker Products
Arm ML Research Lab（Arm机器学习研究实验室）
Kronecker Products（KP）已被用于将物联网RNN应用程序压缩15- 38倍的压缩因子，取得了比传统压缩方法更好的结果。然而，当KP应用于大型自然语言处理任务时，它会导致显著的准确性损失（约26%）。本文提出了一种方法，以恢复精度，否则损失时，应用KP大型NLP任务，允许额外的自由度的KP矩阵。更正式地说，我们提出了掺杂，在预定义的KP结构上添加一个极其稀疏的覆盖矩阵的过程。我们称这种压缩方法为掺杂克罗内克积压缩。为了训练这些模型，我们提出了一个新的解决方案的现象，共矩阵适应（CMA），它使用了一个新的正则化方案，称为共矩阵丢弃正则化（CMR）。我们提出的实验结果表明，压缩的大语言模型与LSTM层的大小为25 MB的25倍，1.4%的困惑分数损失。在25倍压缩下，等效的修剪网络导致困惑分数损失7.9%，而HMD和LMF分别导致困惑分数损失15%和27%。
2020-11-17 cs.CL cs.LG stat.ML
Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression
Technical University of Darmstadt（达姆施塔特工业大学）；National Central University（国立中央大学）；National Cheng Kung University（国立成功大学）；University of Siegen（锡根大学）
针对大语言模型参数多、推理内存占用高难以部署的问题，提出结合SVD的跨层基共享压缩方法，将不同层权重分解为共享基向量与独有系数的线性组合，实验证明其在高压缩比下优于现有同类压缩技术。
2024-10-02 cs.CL cs.LG
DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators
Georgia Institute of Technology（佐治亚理工学院）
数据流/映射决定了DNN加速器的计算和能源效率。已经提出了许多映射器来处理层内映射空间。然而，用于层间映射空间（aka层融合映射空间）的映射器很少被讨论。在这项工作中，我们提出了一个映射器，DNNFuser，专门专注于这个层融合映射空间。虽然现有的SOTA DNN映射探索依赖于基于搜索的映射器，但据我们所知，这是第一个提出基于一次性推理的映射器的工作。我们利用Transformer作为DNN架构，将层融合优化作为序列建模问题进行学习。此外，经过训练的DNNFuser可以概括其知识，并为看不见的条件推断新的解决方案。在一次推理过程中，DNNFuser可以推断出与高度优化的基于搜索的映射器找到的解决方案具有兼容性能的解决方案，同时速度提高66 - 127倍。
2022-06-07 cs.AI cs.LG
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；College of Computer Science, Sichuan University（四川大学计算机学院）；Nanyang Technological University（南洋理工大学）
由于深度神经网络（DNN）通常被过度参数化并且具有数百万个权重参数，因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的，例如，智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小，其中关键是找到合适的压缩分配（例如，修剪稀疏性和量化码本）。现有的解决方案以迭代/手动的方式获得压缩分配，同时微调压缩模型，因此存在效率问题。与现有技术不同的是，本文提出了一种新的单次剪枝量化（OPQ）算法，该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间，压缩模块是固定的，并且仅更新权重参数。据我们所知，OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作，而无需在微调阶段进行任何复杂的迭代/手动优化。此外，我们提出了一个统一的信道级量化方法，强制每一层的所有通道共享一个共同的码本，这导致低比特率分配，而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明，与现有技术相比，我们的方法提高了准确性和训练效率，同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
A Unified Approximation Framework for Compressing and Accelerating Deep Neural Networks
Chinese University of Hong Kong（香港中文大学）；Xidian University（西安电子科技大学）；Tsinghua University（清华大学）；IBM T. J. Watson（IBM托马斯·J·沃森研究中心）
深度神经网络（DNN）已经在各种现实世界应用中取得了重大成功，即，图像分类。然而，由于神经网络的模型规模大，计算量大，网络中的大量参数限制了网络的效率。为了解决这个问题，已经研究了各种近似技术，这些技术寻求具有较小性能退化的轻加权网络，以换取较小的模型大小或更快的推理。低秩性和稀疏性都是网络近似的吸引人的性质。在本文中，我们提出了一个统一的框架来压缩的卷积神经网络（CNN），通过结合这两个属性，同时考虑到非线性激活。网络中的每一层都近似于一个结构化稀疏分量和一个低秩分量之和，这被公式化为一个优化问题。在此基础上，提出了一种保证收敛的交替方向乘子法（ADMM）的扩展形式来求解松弛优化问题。实验在VGG-16、AlexNet和GoogLeNet上进行，并使用大型图像分类数据集。结果优于以前的工作，在精度退化，压缩比和加速比。所提出的方法是能够显着压缩模型（与高达4.9倍的参数减少），在成本损失很小或没有损失的准确性。
2019-08-20 cs.AI cs.LG stat.ML
Cross-Fusion Rule for Personalized Federated Learning
Zhejiang University of Technology（浙江工业大学）
数据稀缺性和异构性对个性化联邦学习提出了显著的性能挑战，这些挑战主要体现在现有方法的过拟合和低精度上。为了克服这些挑战，本文提出了一种多层多融合策略框架，服务器采用各客户端上传模型的网络层参数作为融合的基本单位进行信息共享计算。然后，有针对性地提出了一种融合个性化与通用性相结合的融合策略，并根据网络层功能设计了每种融合策略的网络层数融合阈值。在该机制下，采用L2-Norm负指数相似性度量计算每个客户端对应的特征提取层参数的融合权重，从而提高了异构数据个性化协作的效率。同时，在网络全连接层采用联邦全局最优模型近似融合策略，避免了强个性化带来的过拟合问题。实验结果表明，该方法优于现有的方法。
2023-02-06 cs.AI cs.LG
On Cross-Layer Alignment for Model Fusion of Heterogeneous Neural Networks
VinAI Research（VinAI研究院）；Hanoi University of Science and Technology（河内科技大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Monash University（莫纳什大学）
通过最佳传输的分层模型融合（称为OTFusion）应用软神经元关联来统一不同的预训练网络，以节省计算资源。在享受其成功的同时，OTFusion要求输入网络具有相同的层数。为了解决这个问题，我们提出了一种新的模型融合框架，名为CLAFusion，融合神经网络与不同数量的层，我们称之为异构神经网络，通过跨层对齐。跨层对齐问题是一个不平衡的分配问题，可以使用动态规划来有效地解决。基于跨层对齐，我们的框架平衡层的神经网络的数量之前，应用逐层模型融合。我们的实验表明，CLAFusion通过额外的微调过程，提高了CIFAR 10，CIFAR 100和Tiny-ImageNet数据集上残差网络的准确性。此外，我们还探讨了它在师生环境中的模型压缩和知识蒸馏的实际应用。
2023-02-20 cs.CV cs.LG
MSE-Optimal Neural Network Initialization via Layer Fusion
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Maryland（马里兰大学）；Cornell Tech（康奈尔科技学院）
深度神经网络在一系列分类和推理任务中实现了最先进的性能。然而，使用随机梯度下降结合非凸性的基本优化问题，使参数学习容易初始化。为了解决这个问题，过去已经提出了依赖于随机参数初始化或知识蒸馏的各种方法。在本文中，我们提出了FuseInit，这是一种通过融合随机初始化训练的深层网络的相邻层来初始化浅层网络的新方法。我们开发的理论结果和有效的算法的均方误差（MSE）的最佳融合相邻的密集，卷积密集，卷积卷积层。我们展示了一系列分类和回归数据集的实验，这表明更深的神经网络对初始化不太敏感，如果使用FuseInit初始化，较浅的网络可以表现得更好（有时与较深的网络一样）。
2020-01-28 cs.LG eess.SP stat.ML
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer
the University of Sydney（悉尼大学）；JD Explore Academy, JD.com Inc.（京东探索研究院）；University of Social Sciences（社会科学大学）；Systems Research Institute of the Polish Academy of Sciences（波兰科学院系统研究所）；Tsinghua University（清华大学）
贝叶斯神经网络（BNN）已经成为减轻深度学习中过度自信预测的主要方法，但是由于大量的分布参数，它们经常遭受缩放问题。在本文中，我们发现深度网络的第一层在单独重新训练时具有多个不同的最优值。这表明当第一层被贝叶斯层改变时，后验方差很大，这促使我们设计时空融合BNN（STF-BNN）以有效地将BNN扩展到大模型：（1）首先从零开始正常训练神经网络以实现快速训练;（2）第一层转换为贝叶斯并采用随机变分推理进行推断，而其他层是固定的。与普通的BNN相比，我们的方法可以大大减少训练时间和参数的数量，这有助于有效地扩展BNN。进一步对STF-BNN的泛化能力和抑制过度自信的能力提供了理论保证。综合实验表明，STF-BNN（1）在预测和不确定性量化方面达到了最先进的性能;（2）显着提高了对抗鲁棒性和隐私保护;（3）大大减少了训练时间和内存成本。
2021-12-12 cs.AI cs.LG stat.ML
Image Colorization using U-Net with Skip Connections and Fusion Layer on Landscape Images
Universitas Brawijaya（布拉维贾亚大学）
我们提出了一种新的技术来自动着色灰度图像，结合U-Net模型和融合层功能。这种方法允许模型从预训练的U-Net中学习图像的着色。此外，融合层被应用于将依赖于小图像块的局部信息结果与每个类别上的整个图像的全局先验合并，从而形成视觉上更引人注目的着色结果。最后，我们通过用户研究评估来验证我们的方法，并将其与最先进的方法进行比较，从而得到改进。
2022-05-25 cs.CV cs.LG eess.IV
Depth-Wise Attention (DWAtt): A Layer Fusion Method for Data-Efficient Classification
Microsoft Egypt（微软埃及分公司）；EPFL（洛桑联邦理工学院）；CMU（卡内基梅隆大学）
本文提出深度注意力（DWAtt）层融合方法，通过重新利用预训练模型中间层特征，在少样本和不同数据规模下显著提升分类效率与性能。
2024-05-07 cs.CL cs.LG
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；Tencent Inc.（腾讯公司）
循环神经网络（RNN）及其变体，如长短期记忆（LSTM）网络和门控循环单元（GRU）网络，在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元，有助于在顺序上下文中存储信息。然而，当处理高维输入数据时，如视频和文本，RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战，我们提出了一种新的紧凑LSTM模型，称为TR-LSTM，通过利用低秩张量环分解（TRD）来重新制定输入到隐藏的转换。与其他张量分解方法相比，TR-LSTM更稳定。此外，TR-LSTM可以完成端到端的训练，也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明，与张量训练LSTM和其他最先进的竞争对手相比，所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Multistage linguistic conditioning of convolutional layers for speech emotion recognition
audEERING GmbH（audEERING有限公司）；University of Augsburg（奥格斯堡大学）；Imperial College（帝国理工学院）
在这篇文章中，我们研究了文本和音频特征深度融合对分类和维度语音情感识别（SER）的有效性。我们提出了一种新的多级融合方法，其中两个信息流被集成在深度神经网络（DNN）的几个层中，并将其与流在单个点中合并的单级融合方法进行对比。这两种方法都依赖于从预训练的BERT模型中提取概括语言嵌入，并调节在对数梅尔频谱图上操作的卷积模型的一个或多个中间表示。MSP-Podcast和IEMOCAP数据集上的实验表明，这两种融合方法在定量性能和定性行为方面都明显优于浅（晚）融合基线及其单峰成分。总的来说，我们的多级融合显示出更好的定量性能，在我们的大多数评估中超过了替代品。这说明了多级融合在更好地吸收文本和音频信息方面的潜力。
2022-05-04 cs.LG
ReflexSplit: Single Image Reflection Separation via Layer Fusion-Separation
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Cheng Kung University（国立成功大学）
本文提出ReflexSplit框架，通过跨尺度门控融合、层融合-分离模块和课程学习方法，解决单图像反射分离中的传输-反射混淆问题，实现更高质量的分离效果。
2026-03-27 cs.CV cs.LG
Addition is almost all you need: Compressing large language models with double binary factorization
Faculty of Mathematics, Physics and Informatics（数学、物理与信息学系）；Comenius University（科尼乌斯大学）
本文提出双重二进制分解方法，通过分解权重矩阵为二进制矩阵乘积，实现高效压缩大语言模型，同时保持较高的精度和压缩率。
2026-02-28 cs.LG
Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning
University of Macau（澳门大学）；Tencent AI Lab（腾讯 AI 实验室）；The University of Sydney（悉尼大学）
编码器层融合（EncoderFusion）是一种融合序列到序列（Seq 2Seq）模型的所有编码器层（而不是最上层）的技术，已被证明对各种NLP任务有效。然而，目前还不完全清楚为什么以及何时EncoderFusion应该工作。在本文中，我们的主要贡献是进一步理解EncoderFusion。许多先前的研究认为，EncoderFusion的成功来自于利用嵌入在较低编码器层中的表面和语法信息。与它们不同的是，我们发现编码器嵌入层比其他中间编码器层更重要。此外，最上面的解码器层在NLP任务中始终更加关注编码器嵌入层。基于这一观察，我们提出了一种简单的融合方法，SurfaceFusion，只融合softmax层的编码器嵌入层。实验结果表明，SurfaceFusion在几个NLP基准测试中的表现优于EncoderFusion，包括机器翻译、文本摘要和语法错误纠正。它在WMT 16罗马尼亚语-英语和WMT 14英语-法语翻译任务上获得了最先进的性能。广泛的分析表明，SurfaceFusion通过在相关源和目标嵌入之间建立更紧密的关系来学习更具表达力的双语词嵌入。源代码可以在https://github.com/SunbowLiu/SurfaceFusion上免费获得。
2021-03-18 cs.CL cs.LG
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
多模态学习管道受益于预训练语言模型的成功。然而，这是以增加模型参数为代价的。在这项工作中，我们提出了适应多模态BERT（AMB），BERT为基础的架构，多模态任务，使用适配器模块和中间融合层的组合。适配器为手头的任务调整预训练的语言模型，而融合层执行特定于任务的视听信息与文本BERT表示的逐层融合。在自适应过程期间，预训练的语言模型参数保持冻结，从而允许快速、参数高效的训练。在我们的消融中，我们看到这种方法导致了高效的模型，可以优于其微调的同行，并对输入噪声具有鲁棒性。我们的情感分析与CMU-MOSEI的实验表明，AMB优于目前最先进的跨指标，与3.4%的相对减少所产生的错误和2.1%的相对提高7类分类精度。
2022-12-01 cs.CL cs.CV cs.LG
Lattice Fusion Networks for Image Denoising
提出了一种新的卷积神经网络特征融合方法。建议使用不同的特征融合技术来促进信息的流动并改善深度神经网络的训练。这些技术中的一些以及所提出的网络可以被认为是一种有向无环图（DAG）网络，其中一个层可以从其他层接收输入并向其他层输出。在所提出的Lattice Fusion Network（LFNet）的一般框架中，每个卷积层的特征映射基于格图结构被传递到其他层，其中节点是卷积层。为了评估所提出的架构的性能，不同的设计的基础上的LFNet的一般框架实现的任务的图像去噪。该任务被用作需要训练深度卷积网络的示例。结果与最先进的方法进行比较。该网络能够以更少的可学习参数获得更好的结果，这表明LFNets用于训练深度神经网络的有效性。
2021-07-01 cs.CV cs.LG eess.IV
A Real Time Super Resolution Accelerator with Tilted Layer Fusion
National Yang Ming Chiao Tung University（阳明交通大学）
基于深度学习的超分辨率可以获得高质量的结果，但其繁重的计算工作量、大缓冲区和高外部内存带宽限制了其在移动设备中的使用。针对上述问题，提出了一种采用倾斜层融合方法的实时硬件加速器，该加速器将外部DRAM带宽降低了92%，片上存储器容量仅为102 KB。采用40 nm CMOS工艺实现的设计在600 MHz下运行时达到1920x1080@60fps的吞吐量和544.3K门数;它具有比以前的设计更高的吞吐量和更低的面积成本。
2022-05-09 cs.AR cs.LG eess.IV
DeepIoT: Compressing Deep Neural Network Structures for Sensing Systems with a Compressor-Critic Framework
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；State University of New York at Buffalo（纽约州立大学布法罗分校）
深度学习的最新进展推动了深度神经网络在传感应用中的使用，但它们对受限嵌入式设备的过度资源需求仍然是一个重要的障碍。最近探索的解决方案空间在于在设备上使用之前以某种方式压缩（近似或简化）深度神经网络。我们提出了一种新的压缩解决方案，称为DeepIoT，它在该领域做出了两个关键贡献。首先，与目前用于压缩特定类型神经网络的解决方案不同，DeepIoT提出了一种统一的方法，可以压缩传感应用中所有常用的深度学习结构，包括全连接、卷积和递归神经网络，以及它们的组合。其次，与稀疏化权重矩阵或在权重矩阵中假设线性结构的解决方案不同，DeepIoT通过找到最小数量的非冗余隐藏元素（如每层所需的过滤器和维度），将神经网络结构压缩为更小的密集矩阵，同时保持传感应用的性能相同。重要的是，它这样做使用的方法，获得一个全局视图的参数冗余，这是产生优越的压缩。我们在英特尔Edison设备上进行了五种不同的感知相关任务的实验。DeepIoT在执行时间和能耗方面远远优于所有比较基准算法。它将深度神经网络的大小减少了90%到98.9%。因此，它能够将执行时间缩短71.4%至94.5%，并将能耗降低72.2%至95.7%。这些改进是在不损失精度的情况下实现的。这些结果强调了DeepIoT在资源受限的嵌入式设备上推进深度神经网络开发的潜力。
2017-11-22 cs.LG cs.NE cs.NI
Improving Out-of-Domain Audio Deepfake Detection via Layer Selection and Fusion of SSL-Based Countermeasures
Inria Défense\&Sécurité, LR2
本研究针对基于SSL的音频深度伪造检测系统在域外泛化困难的问题，通过逐层分析六种预训练SSL模型，发现单层最优选择策略可在减少80%参数的同时保持高性能，且多编码器分数级融合进一步提升了域外检测的泛化能力。
2025-09-15 cs.LG cs.SD
Recovering Performance in Speech Emotion Recognition from Discrete Tokens via Multi-Layer Fusion and Paralinguistic Feature Integration
Language Technologies Institute, Carnegie Mellon University, USA（语言技术研究所，卡内基梅隆大学，美国）
本文通过多层融合和语义特征整合方法，解决离散语音令牌在语音情感识别中的性能损失问题，提升其与连续表示的性能一致性。
2026-01-23 cs.LG cs.SD eess.AS
Span-based Named Entity Recognition by Generating and Compressing Information
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center (AIRC)（人工智能研究中心（AIRC））；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））；Alan Turing Institute（艾伦·图灵研究所）
信息瓶颈（IB）原理在各种NLP应用中已被证明是有效的。然而，现有的工作，只使用生成或信息压缩模型，以提高目标任务的性能。在本文中，我们提出将这两种类型的IB模型结合到一个系统中，以增强命名实体识别（NER）。对于一种类型的IB模型，我们将两个无监督的生成组件，跨度重建和同义词生成，到一个基于跨度的NER系统。跨度重构保证了语境化的跨度表征保持跨度信息，而同义词生成使得同义词即使在不同的语境中也具有相似的表征。对于另一种类型的IB模型，我们添加了一个监督IB层，该层在系统中执行信息压缩，以在生成的跨度表示中保留NER的有用特征。在五个不同语料库上的实验表明，联合训练生成模型和信息压缩模型可以提高基于跨度的基准NER系统的性能。我们的源代码可在https://github.com/nguyennth/joint-ib-models上公开获取。
2023-02-10 cs.CL cs.LG
L-CNN: A Lattice cross-fusion strategy for multistream convolutional neural networks
本文提出了一种多流卷积网络的融合策略，格型交叉融合。这种方法交叉来自卷积层的信号，在池化层之前执行基于数学运算的融合。在一个故意恶化的CIFAR-10（一个流行的图像分类数据集）上，使用修改后的AlexNet-LCNN版本的结果表明，这种新方法的性能比基线单流网络高出46%，具有更快的收敛速度，稳定性和鲁棒性。
2020-08-01 cs.CV cs.LG
Palu: Compressing KV-Cache with Low-Rank Projection
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
针对现有KV-Cache压缩方法无法利用KV张量隐藏维度冗余的问题，本文提出Palu框架，通过低秩投影实现隐藏维度压缩，结合多项优化技术，在保证准确率的同时显著降低内存占用并提升推理速度。
2024-11-04 cs.AI cs.LG
DNNFusion: Accelerating Deep Neural Networks Execution with Advanced Operator Fusion
William & Mary（威廉与玛丽学院）；Northeastern University（东北大学）；Augusta University（奥古斯塔大学）
深度神经网络（DNN）已经成为移动设备上许多主要应用的核心推动者。为了实现高精度，DNN模型已经变得越来越深，具有数百甚至数千个运算符层，导致推理的高内存和计算需求。操作符融合（或内核/层融合）是许多最先进的DNN执行框架（如TensorFlow、TVM和MNN）中的关键优化。然而，这些框架通常采用基于某些模式的融合方法，这些模式限制性太强，无法覆盖运营商和层连接的多样性。另一方面，基于多面体的循环融合技术在没有运算符级别信息的情况下对计算的低级别视图进行工作，并且也可能错过潜在的融合机会。为了应对这一挑战，本文提出了一种新的和广泛的循环融合框架，称为DNNfusion。这项工作的基本思想是在DNN的运营商视图上工作，但通过开发单个运营商及其组合的分类来扩展融合机会。此外，DNNfusion还包括1）一个新的基于属性的图重写框架，以降低评估成本并促进后续的操作符融合，2）一个集成的融合计划生成，利用高级分析和准确的轻量级分析，以及3）融合代码生成期间的额外优化。DNNFusion在15个DNN模型上进行了广泛的评估，这些模型具有不同类型的任务，模型大小和层数。评估结果表明，DNNFusion发现了高达8.8倍的融合机会，优于四个最先进的DNN执行框架，具有9.3倍的加速比。内存需求的减少和加速可以使许多目标模型在移动设备上执行，甚至使它们成为实时应用程序的一部分。
2021-12-01 cs.AI cs.LG
Compressing deep neural networks by matrix product operators
Renmin University of China（中国人民大学）；Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所）；Peng Cheng Laboratory（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）；RIKEN Brain Science Institute（日本理化学研究所脑科学研究所）
深度神经网络是根据许多交替布置的线性和非线性变换的信号的多层映射的参数化。线性变换通常用于全连接层和卷积层，包含大多数训练和存储的变分参数。压缩深度神经网络以减少其变分参数的数量而不是其预测能力是一个重要但具有挑战性的问题，该问题朝着建立优化方案以有效地训练这些参数并降低过拟合的风险。在这里，我们表明，这个问题可以有效地解决表示线性变换与矩阵乘积算子（MPO），这是一个张量网络最初在物理学中提出的特征在一维量子态的短程纠缠。我们已经在五个典型的神经网络中测试了这种方法，包括FC 2，LeNet-5，VGG，ResNet和DenseNet，在两个广泛使用的数据集上，即MNIST和CIFAR-10，发现这种MPO表示确实在输入和输出信号之间建立了一个忠实而有效的映射，它可以保持甚至提高预测精度，同时大大减少参数的数量。我们的方法大大简化了深度学习中的表示，并为建立现代神经网络框架开辟了一条可能的途径，这种框架可能更简单、更便宜，但更有效。
2020-06-10 cs.CV cs.LG cs.NE
Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters
Hong Kong Baptist University（香港浸会大学）
深度卷积神经网络（CNN）已成功应用于许多现实问题。然而，深度CNN模型的巨大存储器成本对将它们部署在存储器受限的设备（例如，移动电话）。降低深度CNN模型的内存成本的一种流行方法是训练二进制CNN，其中卷积滤波器中的权重为1或-1，因此每个权重可以使用单个位有效地存储。然而，现有的二进制CNN模型的压缩比上限为32左右。为了解决这个问题，我们提出了一种新的方法，通过堆叠低维二进制卷积滤波器来压缩深度CNN模型。我们提出的方法近似一个标准的卷积滤波器，从一组低维二进制卷积滤波器选择和堆叠滤波器。这组低维二进制卷积滤波器在给定卷积层的所有滤波器之间共享。因此，我们的方法将实现比二进制CNN模型更大的压缩比。为了训练我们提出的模型，我们已经从理论上表明，我们提出的模型是等效的选择和堆栈的中间特征图产生的低维二进制过滤器。因此，我们提出的模型可以有效地使用分裂-变换-合并策略进行训练。我们还提供了详细的分析，我们的模型在模型推理的内存和计算成本。我们在两个基准数据集上将该方法与其他五种流行的模型压缩技术进行了比较。我们的实验结果表明，我们提出的方法实现了更高的压缩比现有的方法，同时保持相当的精度。
2020-10-06 cs.CV cs.LG
