Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets
University of California, Irvine（加州大学欧文分校）；University of California, Los Angeles（加州大学洛杉矶分校）
深度神经网络（DNN）压缩对于适应移动设备至关重要。虽然存在许多成功的算法来压缩自然训练的DNN，但为健壮训练的DNN开发高效和稳定的压缩算法仍然是一个很大的问题。在本文中，我们专注于高效DNN压缩算法和稀疏神经架构的协同设计，以实现鲁棒和准确的深度学习。这样的协同设计使我们能够推进同时容纳稀疏性和鲁棒性的目标。考虑到这一目标，我们利用基于松弛增广拉格朗日的算法来修剪结构化和非结构化级别上的对抗训练DNN的权重。使用Feynman-Kac形式主义原则的鲁棒和稀疏DNN，我们可以将对抗训练的ResNet 20的信道稀疏度至少提高一倍用于CIFAR 10分类，同时将自然准确率提高$8.69$ \%，并将IFGSM攻击的基准$20$迭代下的鲁棒准确率提高$5.42$ \%。代码可在\url{https://github.com/BaoWangMath/rvsm-rgsm-admm}上获得。
2020-03-02 cs.AI cs.LG stat.ML
Towards a Theoretical Understanding of Hashing-Based Neural Nets
UT-Austin（德克萨斯大学奥斯汀分校）；Harvard（哈佛大学）；Princeton University（普林斯顿大学）
由于深度神经网络模型的规模不断增加，并且需要在资源有限的机器上训练和运行它们，因此参数约简一直是深度学习中的重要主题。尽管在这一领域做出了许多努力，但没有严格的理论保证为什么现有的神经网络压缩方法应该工作。在本文中，我们提供了一些基于散列的神经网络参数约简方法的可证明保证。首先，我们介绍了一种基于随机线性草图的神经网络压缩方案（通常通过散列有效地实现），并表明草图（较小）网络能够在来自任何光滑且条件良好的低维流形的所有输入数据上逼近原始网络。草图网络也可以直接通过反向传播进行训练。接下来，我们研究了以前提出的哈希网络架构，并表明一个隐藏层哈希网络的优化景观具有类似于正常的全连接神经网络的局部强凸性。我们补充我们的理论结果与经验验证。
2019-02-25 cs.LG stat.ML
Using Low-Discrepancy Points for Data Compression in Machine Learning: An Experimental Comparison
University of Mannheim（曼海姆大学）
本研究探索两种基于低差异点的数据集缩减方法以训练神经网络，对比了基于数字网的平均法、Voronoi聚类法与supercompress方法在压缩误差和训练准确率上的表现。
2024-12-13 cs.LG stat.ML
Compression Implies Generalization
解释深度神经网络令人惊讶的泛化性能是理论机器学习中一个活跃而重要的研究方向。Arora等人（ICML'18）的有影响力的工作表明，在实践中发生的深度网络的噪声稳定性可以用来证明压缩模型表示。然后他们认为，压缩网络的小表示意味着良好的泛化性能，尽管只是压缩网络。扩展他们的压缩框架以产生原始未压缩网络的泛化边界仍然是难以捉摸的。我们的主要贡献是建立了一个基于压缩的框架，证明推广界。该框架简单而强大，足以扩展Arora等人的推广范围，也适用于原始网络。为了证明该框架的灵活性，我们还表明，它允许我们给出简单的证明，其他流行的机器学习模型，即支持向量机和提升的最强已知的泛化界限。
2021-07-01 cs.LG
Reduced storage direct tensor ring decomposition for convolutional neural networks compression
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
本文提出基于降存储直接张量环分解（RSDTR）的低秩CNN压缩方法，通过更灵活的循环模式置换实现高参数与FLOPS压缩率，并在CIFAR-10和ImageNet上验证其优于现有方法。
2024-08-05 cs.CV cs.LG
T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor
Samsung AI Center, Cambridge（三星人工智能中心（剑桥））
最近的研究结果表明，过度参数化虽然对于成功训练深度神经网络至关重要，但也会引入大量冗余。张量方法有可能通过利用这种冗余来有效地参数化过完备表示。在本文中，我们提出完全参数化卷积神经网络（CNN）与一个单一的高阶，低秩张量。以前关于网络张量化的工作主要集中在参数化单个层（卷积或全连接），并逐层单独执行张量化。相比之下，我们建议通过使用单个高阶张量对其进行参数化来共同捕获神经网络的完整结构，其模式表示网络的每个架构设计参数（例如卷积块的数量，深度，堆栈的数量，输入特征等）。这种参数化允许正则化整个网络并大大减少参数的数量。我们的模型是端到端可训练的，施加在权重张量上的低秩结构充当隐式正则化。我们研究了具有丰富结构的网络的情况，即全卷积网络（FCN），我们建议用单个8阶张量参数化。我们表明，我们的方法可以实现卓越的性能与小的压缩率，并达到高压缩率，可以忽略不计的准确性下降的挑战性任务的人体姿态估计。
2019-04-04 cs.AI cs.CV cs.LG
Evaluation of Deep Convolutional Nets for Document Image Classification and Retrieval
Ryerson University（瑞尔森大学）
本文提出了一种新的最先进的文档图像分类和检索，使用深卷积神经网络（CNN）学习的特征。在对象和景物分析中，深度神经网络能够学习从像素输入到简洁和描述性表示的分层抽象链。目前的工作探讨了这种能力在文档分析领域，并证实，这种表示策略优于各种流行的手工制作的替代品。实验还表明，（i）从CNN中提取的特征对压缩具有鲁棒性，（ii）在非文档图像上训练的CNN可以很好地转移到文档分析任务中，以及（iii）如果有足够的训练数据，则不需要强制执行特定于区域的特征学习。这项工作还提供了IIT-CDIP集合的一个新的标记子集，包含16个类别的40万个文档图像，可用于训练新的CNN进行文档分析。
2015-02-25 cs.CV cs.IR cs.LG
TamperNN: Efficient Tampering Detection of Deployed Neural Nets
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Irisa（法国信息与随机系统研究所）；LAAS/CNRS（法国国家科学研究中心系统分析与体系结构实验室）
神经网络正在为嵌入式设备和物联网的部署提供动力。应用范围从个人助理到自动驾驶汽车等关键应用。最近的研究表明，从神经网络获得的模型可以被特洛伊木马攻击;攻击者可以在面对精心制作的输入时触发任意模型行为。这对这些已部署设备的安全性和可靠性具有关键影响。我们引入新的算法来检测篡改部署的模型，特别是分类。在我们考虑的远程交互设置中，所提出的策略是识别模型输入空间的标记，如果模型受到攻击，这些标记可能会改变类别，从而允许用户检测可能的篡改。这种设置使我们的建议与广泛的场景兼容，例如嵌入式模型或通过预测API公开的模型。我们实验这些篡改检测算法上的规范MNIST数据集，在三种不同类型的神经网络，面对五种不同的攻击（木马，量化，微调，压缩和水印）。然后，我们使用最先进的数据集（VGGFace 2）验证了五个大型模型（VGG 16，VGG 19，ResNet，MobileNet，DenseNet），并报告了有效检测模型篡改的可能性。
2019-09-05 cs.CR cs.CV cs.LG
BT-Nets: Simplifying Deep Neural Networks via Block Term Decomposition
Hang Seng Management College（恒生管理学院）；National University of Singapore（新加坡国立大学）；AI Institute（360人工智能研究院）
最近，深度神经网络（DNN）已被视为最先进的分类方法，在广泛的应用中，特别是在图像分类中。尽管取得了成功，但大量的参数阻碍了它在计算资源较少的情况下的部署。研究人员诉诸于DNN权重的冗余，并试图找到如何在保持准确性的同时选择更少的参数。尽管沿着这条研究路线已经显示出了一些有希望的结果，但大多数现有方法要么无法显著压缩经过良好训练的深度网络，要么需要对压缩后的网络进行大量微调以恢复原始性能。在本文中，我们提出了\textit{Block Term}网络（BT网），其中常用的全连接层（FC层）被替换为块项层（BT层）。在BT层中，输入和输出被整形为两个低维高阶张量，然后应用块项分解作为张量算子来连接它们。我们在基准数据集上进行了大量的实验，以证明BT层可以在参数数量上实现非常大的压缩比，同时尽可能地保留原始FC层的表示能力。与张量训练方法相比，该方法具有更高的性能，同时需要更少的参数。
2017-12-15 cs.LG stat.ML
Few Sample Knowledge Distillation for Efficient Network Compression
MIT（麻省理工学院）；Intel Labs（英特尔实验室）；UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
剪枝、权重张量分解等深度神经网络压缩技术，在压缩比较高时，通常需要进行微调以恢复预测精度。然而，传统的微调遭受的要求，一个大的训练集和耗时的训练过程。本文提出了一种新的解决方案，知识蒸馏从无标签的小样本，实现数据效率和训练/处理效率。我们把原始网络看作“教师网”，把压缩后的网络看作“学生网”。在学生网络的每个层块的末尾添加一个1x 1卷积层，通过估计添加层的参数，将学生网络的块级输出拟合到教师网络。我们证明了增加的层可以合并，而不增加额外的参数和计算成本在推理。在多个数据集和网络结构上的实验验证了该方法对各种网络剪枝和权值分解方法得到的学生网的有效性。我们的方法可以在几分钟内恢复学生网络的准确性与传统的微调方法相同的水平，而只使用完整的训练数据的1%的无标签数据。
2020-03-31 cs.LG stat.ML
On the Impact of Stable Ranks in Deep Nets
Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）；IIT, Bombay（孟买印度理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
最近的一系列工作已经在深度神经网络（DNN）模型的泛化/压缩特性与所谓的层权重稳定秩之间建立了有趣的联系。直观地说，后者是网络中有效参数数量的指标。在这项工作中，我们解决了一些自然的问题，关于DNN的空间条件层的稳定排名，在那里我们研究前馈动态，初始化，训练和表达。为此，我们首先提出了一个随机DNN模型，该模型具有基于稳定秩的新采样方案。然后，我们展示了前馈映射如何受到约束的影响，以及训练如何在过度参数化的机制中演变（通过神经切线核）。我们的研究结果意味着，稳定的排名出现分层基本上是线性因素，其影响积累指数dependency。此外，我们提供的实证分析表明，稳定的秩初始化单独可以导致收敛速度的上升。
2021-10-05 cs.AI cs.LG math.ST
Composing Global Solutions to Reasoning Tasks via Algebraic Objects in Neural Nets
Meta Superintelligence Lab (FAIR)（Meta超智能实验室（FAIR））
提出 CoGS 框架，利用两层二次激活网络权重空间的半环结构，将满足部分损失的解通过环运算组合成推理任务的全局最优解，并得到梯度下降实验验证。
2025-09-30 cs.AI cs.CL cs.LG
Training and Generating Neural Networks in Compressed Weight Space
The Swiss AI Lab IDSIA, USI & SUPSI（瑞士人工智能实验室 IDSIA，USI 与 SUPSI）
一些神经网络的输入和/或输出是其他神经网络的权重矩阵。权重矩阵的间接编码或端到端压缩可能有助于扩展此类方法。我们的目标是开启对这个主题的讨论，从用于字符级语言建模的递归神经网络开始，其权重矩阵由离散余弦变换编码。我们的快速权重版本使用递归神经网络来参数化压缩权重。我们在enwik 8数据集上展示了实验结果。
2021-12-31 cs.CL cs.LG
SlimNets: An Exploration of Deep Model Compression and Acceleration
Massachusetts Institute of Technology（麻省理工学院）
深度神经网络在各种复杂任务上取得了越来越准确的结果。然而，这种改进大部分是由于计算资源的使用和可用性的增加（例如GPU的使用，更多的层，更多的参数等）。大多数最先进的深度网络尽管表现良好，但过度参数化近似函数，并花费大量时间进行训练。随着人们越来越关注在智能手机等资源受限的设备上部署深度神经网络，人们一直在推动评估为什么这些模型如此需要资源，以及如何使它们更有效。这项工作评估和比较三种不同的方法，深度模型压缩和加速：重量修剪，低秩分解，和知识蒸馏。在CIFAR10上训练的VGG网络的比较表明，每个模型本身都是有效的，但真正的力量在于将它们结合起来。我们表明，通过结合修剪和知识蒸馏方法，我们可以创建一个压缩的网络比原来的小85倍，同时保留96%的原始模型的准确性。
2018-08-01 cs.AI cs.LG stat.ML
Learning-induced categorical perception in a neural network model
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；McGill University（麦吉尔大学）；University of Southampton（南安普顿大学）
在人类认知中，类间距离的扩大和类内距离的压缩被称为类别感知（CP）。关于CP的原因有几种假设（例如，语言，学习，进化），但没有功能模型。合作伙伴是否是必不可少的分类或只是一个副产品，它还不清楚，但证据是积累，合作伙伴可以通过类别学习。我们提供了一个模型，学习引起的CP作为神经网络中隐藏单元空间中距离的扩展和压缩。描述了当前模型预测CP的基本条件，以及这些条件如何推广到更复杂的分类的线索开始出现。
2018-05-11 cs.LG stat.ML
Tensor Contraction Layers for Parsimonious Deep Nets
Amazon AI（亚马逊AI）；Imperial College London（帝国理工学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Southern California（南加利福尼亚大学）；California Institute of Technology（加利福尼亚理工学院）
张量为机器学习中经常遇到的许多类型的数据提供了自然的表示。例如，图像自然地表示为三阶张量，其中模式对应于高度、宽度和通道。张量方法以其发现多维依赖关系的能力而闻名，特别是张量分解，已被用于产生数据的紧凑低秩近似。在本文中，我们探讨了张量收缩作为神经网络层的使用，并研究了将其应用于激活张量的几种方法。具体来说，我们提出了张量收缩层（TCL），这是首次尝试将张量收缩作为端到端的可训练神经网络层。应用于现有的网络，TCL减少了激活张量的维数，从而减少了模型参数的数量。我们评估TCL的图像识别任务，增强两个流行的网络（AlexNet，VGG）。生成的模型是端到端可训练的。将TCL应用于图像识别任务，使用CIFAR100和ImageNet数据集，我们评估了通过张量收缩进行参数缩减对性能的影响。我们证明了显着的模型压缩，而不显着影响的准确性，在某些情况下，提高了性能。
2017-06-01 cs.LG
T-Basis: a Compact Representation for Neural Networks
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们介绍了T基，一个新的概念，一组张量的紧凑表示，每个任意形状，这是经常看到的神经网络。集合中的每个张量都是使用张量环建模的，尽管这个概念适用于其他张量网络。由于它的名字来自张量环图符号中的T形节点，T基只是一个相等形状的三维张量列表，用于表示张量环节点。这样的表示允许我们用少量的参数（T基张量的系数）来参数化张量集，随着集合中每个张量的大小进行几何缩放，并与T基的维度进行线性缩放。我们评估所提出的方法的任务上的神经网络压缩，并证明它达到高压缩率在可接受的性能下降。最后，我们分析了压缩网络的内存和操作需求，并得出结论，T-Basis网络同样适合在资源受限的环境中进行训练和推理，并在边缘设备上使用。
2021-07-13 cs.CV cs.LG stat.ML
"Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach
Hikvision Research Institute（海康威视研究院）；Huazhong University of Science and Technology（华中科技大学）
本文利用 NTK 与 RMT 证明高维高斯混合数据下宽深全连接网络的谱等价，并据此提出权重和激活仅取 {0,±1} 的“无损”压缩方法。
2024-03-01 cs.LG stat.ML
HadaNets: Flexible Quantization Strategies for Neural Networks
Birla Institute of Technology and Science, Pilani（贝拉理工学院（皮拉尼））
无人机上的机载处理元件目前不足以进行深度神经网络的训练和推理。这在很大程度上是由于在这样的网络中的存储器访问的能量消耗。HadaNets通过将全精度张量与Hadamard乘积形式的二进制张量配对，引入了一种灵活的从头训练张量量化方案。与更广泛的降低精度的神经网络模型不同，我们保留了训练时间参数计数，因此在没有训练时间记忆损失的情况下性能优于XNOR网络。这种训练例程在半监督在线学习任务中可以看到很大的效用。我们的方法在模型压缩方面也具有优势，因为我们在不使用任何其他压缩技术的情况下，将ResNet-18的模型大小减少了7.43倍。我们还展示了一个'阿达玛二进制矩阵乘法'内核，它提供了一个10倍的性能提高全精度矩阵乘法与类似的优化内核。
2019-05-26 cs.CV cs.LG
GroupReduce: Block-Wise Low-Rank Approximation for Neural Language Model Shrinking
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
模型压缩对于在资源有限的设备或需要实时响应的应用程序上服务大型深度神经网络至关重要。作为一个案例研究，最先进的神经语言模型通常由一个或多个递归层组成，这些递归层夹在用于表示输入令牌的嵌入层和用于生成输出令牌的softmax层之间。对于词汇量非常大的问题，嵌入和softmax矩阵可以占模型大小的一半以上。例如，bigLSTM模型在拥有约80万词汇的十亿字（OBW）数据集上实现了最先进的性能，其词嵌入和softmax矩阵使用超过6Gbit空间，并负责超过90%的模型参数。在本文中，我们提出了GroupReduce，神经语言模型的一种新的压缩方法，基于词汇分区（块）的低秩矩阵近似和令牌的固有频率分布（词的幂律分布）。实验结果表明，该方法的压缩性能明显优于传统的压缩方法，如低秩近似和修剪。在OBW数据集上，我们的方法对嵌入和softmax矩阵实现了6.6倍的压缩率，当与量化相结合时，我们的方法可以实现26倍的压缩率，这意味着整个模型的压缩系数为12.8倍，并且在困惑度方面几乎没有退化。
2018-06-18 cs.AI cs.CL cs.LG
Semi-tensor Product-based TensorDecomposition for Neural Network Compression
University of Electronic Science and Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）
现有的张量网络采用传统的矩阵积进行连接。经典的矩阵乘积要求因子之间具有严格的维数一致性，这会导致数据表示的冗余。本文利用半张量积将经典的基于矩阵积的模积推广到半张量积。由于它允许连接两个不同维度的因子，因此可以用较小的因子获得更灵活和紧凑的张量分解。Tucker分解、张量训练（TT）和张量环（TR）是深度神经网络低秩压缩的常用分解。将半张量积应用于这些张量分解以获得它们的广义版本，即，半张量Tucker分解（STTu）、半张量训练（STT）和半张量环（STR）。实验结果表明，STTu，STT和STR实现更高的压缩因子比传统的张量分解具有相同的精度，但更少的训练时间在ResNet和WideResNet压缩。在2%精度下降的情况下，TT-RN（rank = 14）和TR-WRN（rank = 16）仅获得3倍和99 t倍的压缩因子，而STT-RN（rank = 14）和STR-WRN（rank = 16）分别获得9倍和179倍的压缩因子。
2021-09-30 cs.LG
Bandwidth Reduction using Importance Weighted Pruning on Ring AllReduce
State Key Laboratory of Reliability and Intelligence of Electrical Equipment（可靠性与智能电气设备国家重点实验室）；Hebei University of Technology（河北工业大学）
在配备加速器系统的大规模集群上训练大型深度学习模型是必然的。深度梯度压缩可以大大提高带宽利用率，加快训练过程，但难以在环形结构上实现。在本文中，我们发现冗余梯度和梯度老化对训练有负面影响。我们观察到，在不同的时期和不同的步骤，神经网络的重点是更新不同的层和不同的参数。为了节省更多的通信带宽，同时保持环结构的准确性，突破节点增加时的限制，提出了一种基于参数计算梯度与参数值之比大小的大规模集群环全归约梯度重要性度量算法。我们的重要性加权剪枝方法在AlexNet和ImageNet上分别实现了64倍和58.8倍的梯度压缩比。同时，为了保持梯度传播的稀疏性，我们在每个节点上随机广播重要梯度的索引。而其余节点准备好索引梯度并执行all-reduce更新。这将加快模型的收敛速度并保持训练精度。
2019-01-06 cs.DC cs.LG stat.ML
Compositionality Unlocks Deep Interpretable Models
Universiteit Antwerpen（安特卫普大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
提出$χ$-net架构，结合张量网络与深度神经网络，在保持同等准确率的同时，通过ODT算法揭示低秩结构，实现基于权重的可解释性与模型压缩。
2025-04-03 cs.LG
Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition
University of Waterloo（滑铁卢大学）
现代卷积神经网络（CNN）架构尽管在解决各种问题方面具有优势，但通常太大而不能部署在资源受限的边缘设备上。在本文中，我们减少了CNN中卷积层所需的内存使用和浮点运算。我们通过将Kronecker乘积分解推广到多维张量来压缩这些层，从而得到广义Kronecker乘积分解（GKPD）。我们的方法产生了一个即插即用的模块，可以用作任何卷积层的替代品。使用ResNet、MobileNetv 2和SeNet架构在CIFAR-10和ImageNet数据集上进行图像分类的实验结果证实了我们提出的方法的有效性。我们发现GKPD优于最先进的分解方法，包括Tensor-Train和Tensor-Ring以及其他相关的压缩方法，如修剪和知识蒸馏。
2022-01-14 cs.CV cs.LG
Nonlinear Tensor Ring Network
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）
最先进的深度神经网络（DNN）已被广泛应用于各种现实世界的应用，并在认知问题上取得了显着的性能。然而，DNN在架构中的宽度和深度的增加导致了大量的参数来挑战存储和内存成本，限制了DNN在资源受限的平台（例如便携式设备）上的使用。压缩技术通过将冗余模型转换为紧凑模型，是一种减少存储和内存消耗的实用解决方案。在本文中，我们开发了一个非线性张量环网络（NTRN），其中全连接层和卷积层都通过张量环分解进行压缩。此外，为了减轻由压缩引起的精度损失，非线性激活函数被嵌入到压缩层内的张量收缩和卷积操作中。实验结果表明，建议NTRN图像分类使用两个基本的神经网络，LeNet-5和VGG-11的有效性和优越性的三个数据集，即MNIST，时尚MNIST和Cifar-10。
2021-11-12 cs.AI cs.LG eess.IV
Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization
IBM Research（IBM研究院）
学习记忆长序列仍然是循环神经网络的一项具有挑战性的任务。寄存器记忆和注意力机制都被提出来解决这个问题，要么高计算成本，以保持记忆的可微性，或通过折扣的RNN表示学习编码更短的本地上下文比鼓励长序列编码。联想记忆研究的是在一个固定大小的存储器中压缩多个模式，近年来很少被考虑。虽然最近的一些工作试图在RNN中引入联想记忆，并模仿Hopfield网络中的能量衰减过程，但它继承了基于规则的记忆更新的缺点，并且记忆容量有限。本文提出了一种结合任务目标学习记忆更新规则的方法，以提高对长序列的记忆能力。此外，我们提出了一个架构，使用多个这样的联想记忆更复杂的输入编码。与其他RNN架构相比，我们在一些经过充分研究的序列学习任务中观察到了一些有趣的事实。
2017-10-03 cs.AI cs.LG stat.ML
Constructing Energy-efficient Mixed-precision Neural Networks through Principal Component Analysis for Edge Intelligence
Purdue University（普渡大学）
“物联网”在从医疗监控系统到自动驾驶汽车的应用中，对基于人工智能的边缘计算的需求不断增加。量化是解决此类应用日益增长的计算成本的强大工具，并在全精度网络上产生显著的压缩。然而，量化可能导致复杂图像分类任务的性能的实质性损失。为了解决这个问题，我们提出了一种主成分分析（PCA）驱动的方法来识别二进制网络的重要层，并设计混合精度网络。提出的Hybrid-Net在CIFAR-100和ImageNet数据集上实现了比二进制网络（如ResNet和VGG架构的XNOR-Net）分类准确率提高10%以上，同时仍然实现了XNOR-Net高达94%的能效。这项工作进一步提高了在边缘设备中使用高度压缩的神经网络进行节能神经计算的可行性。
2019-12-03 cs.CV cs.LG cs.NE
A Practical Tensor-Network Compression Pipeline for Production-Scale Large Language Models
Minima AI, Inc.（Minima AI 公司）
Minima是一种用于大语言模型的实用张量网络压缩管道，通过结构压缩和自定义内核提升推理效率和吞吐量。
2026-02-02 cs.AI cs.LG
Distilling the Knowledge in a Neural Network
Google Inc.（谷歌公司）；University of Toronto（多伦多大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
提高几乎任何机器学习算法性能的一种非常简单的方法是在相同的数据上训练许多不同的模型，然后对它们的预测进行平均。不幸的是，使用整个模型集合进行预测是繁琐的，并且可能在计算上过于昂贵，以至于无法部署到大量用户，特别是如果单个模型是大型神经网络。Caruana和他的合作者已经证明，可以将集合中的知识压缩到一个更容易部署的单一模型中，我们使用不同的压缩技术进一步开发了这种方法。我们取得了一些令人惊讶的结果MNIST，我们表明，我们可以显着改善大量使用的商业系统的声学模型，通过蒸馏的知识集成到一个单一的模型。我们还介绍了一种新类型的合奏组成的一个或多个完整的模型和许多专业的模型，学习区分细粒度的类，完整的模型混淆。与专家的混合不同，这些专家模型可以快速并行地进行训练。
2015-03-09 cs.LG cs.NE stat.ML
Learned Gradient Compression for Distributed Deep Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec
在包含高维数据的大型数据集上训练深度神经网络需要大量的计算。这个问题的一个解决方案是数据并行分布式训练，其中模型被复制到几个可以访问不同数据块的计算节点中。然而，这种方法需要高的通信速率和延迟，因为计算的梯度需要在每次迭代时在节点之间共享。在节点之间存在无线通信的情况下（即，由于有限的网络带宽），该问题变得更加明显。为了解决这个问题，已经提出了各种压缩方法，包括稀疏化、量化和梯度的熵编码。现有方法利用节点内信息冗余，即它们独立地压缩每个节点处的梯度。相反，我们主张跨节点的梯度是相关的，并提出了利用这种节点间冗余来提高压缩效率的方法。根据节点通信协议（参数服务器或环allreduce），我们提出了两个实例的LGC方法，我们硬币学习梯度压缩（LGC）。我们的方法利用自动编码器（即在分布式训练的第一阶段进行训练）来捕获分布式节点梯度中存在的共同信息。我们已经使用不同的卷积神经网络（ResNet50，ResNet101，PSPNet）和多个数据集（ImageNet，Cifar10，CamVid）在图像分类和语义分割任务上测试了我们的LGC方法。在Cifar 10上训练的用于图像分类的ResNet 101模型达到了93.57%的准确率，这比使用未压缩梯度的基线分布式训练仅低0.18%。
2021-03-17 cs.AI cs.DC cs.LG
Randomized Tensor Ring Decomposition and Its Application to Large-scale Data Reconstruction
Graduate School of Engineering, Saitama Institute of Technology（埼玉工业大学工程研究生院）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机学院）
针对传统张量环分解处理大规模数据计算成本高的问题，提出两种基于张量随机投影的TR分解算法，在保证精度的同时显著提升速度，并在数据集压缩与图像重建中表现优越。
2019-01-07 cs.LG cs.NA math.NA
Initialization and Regularization of Factorized Neural Layers
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
分解层（由两个或多个矩阵的乘积参数化的操作）出现在各种深度学习环境中，包括压缩模型训练，某些类型的知识蒸馏和多头自注意架构。我们研究了如何初始化和正则化包含这些层的深层网络，研究了两个简单的，未充分研究的方案，频谱初始化和Frobenius衰减，以提高其性能。指导性的见解是为这些网络设计尽可能接近其良好调整的非分解对应物的优化例程;我们通过分析初始化和正则化方案如何影响梯度下降训练来支持这种直觉，借鉴现代尝试理解权重衰减和批量归一化的相互作用。从经验上讲，我们强调了光谱初始化和Frobenius衰减在各种设置中的好处。在模型压缩中，我们证明了它们使低秩方法在训练低内存残差网络的任务上显著优于非结构化稀疏性和张量方法;这些方案的类似物也提高了张量分解技术的性能。对于知识蒸馏，Frobenius衰变实现了一个简单的、过完备的基线，可以从过参数化训练中产生一个紧凑的模型，而不需要使用教师网络进行再训练或修剪。最后，我们展示了这两种方案如何应用于多头注意力，从而提高翻译和无监督预训练的性能。
2022-10-04 cs.AI cs.CL cs.CV
Lempel-Ziv Networks
Booz Allen Hamilton（博思艾伦汉密尔顿）；Laboratory for Physical Sciences（物理科学实验室）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
序列处理一直是机器学习研究的中心领域。递归神经网络已经成功地处理了许多任务的序列;然而，当应用于非常长的序列时，它们被认为是无效的和计算昂贵的。基于压缩的方法在处理此类序列时表现出更强的鲁棒性-特别是，将Lempel-Ziv Jaccard距离（LZJD）与k最近邻算法配对的方法在涉及恶意软件分类的长序列问题（多达$T=200,000,000$步骤）上显示出了希望。不幸的是，LZJD的使用仅限于离散域。为了将LZJD的优势扩展到连续域，我们研究了该算法的深度学习模拟Lempel-Ziv网络的有效性。虽然我们成功地实现了概念验证，但我们无法在各种数据集和序列处理任务上有意义地提高标准LSTM的性能。除了提出这个负面的结果，我们的工作突出了在新的研究领域低于标准的基线调整的问题。
2022-11-23 cs.AI cs.LG
