Scalable Neural Network Compression and Pruning Using Hard Clustering and L1 Regularization
University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一个简单,易于实现的神经网络压缩算法,实现了更复杂的国家的最先进的方法的竞争力的结果。其关键思想是通过在网络参数上添加K个独立的高斯先验(对应于k-means目标)来修改原始优化问题,以实现参数量化,以及L1惩罚来实现修剪。与许多现有的基于量化的方法不同,我们的方法使用网络参数的硬聚类分配,这对标准网络训练增加了最小的变化或开销。我们还通过实验证明,捆绑神经网络参数比完全改变网络架构和连接模式在泛化性能方面提供的增益更少。
2018-06-14 cs.LG stat.ML
Domain Adaptation Regularization for Spectral Pruning
DENSO CORPORATION(电装公司);The University of Tokyo(东京大学);AIP-RIKEN(AIP-理化学研究所)
深度神经网络(DNN)最近在各种计算机视觉相关任务上实现了最先进的性能。然而,它们的计算成本限制了它们在具有有限资源或严格延迟约束的嵌入式系统中实现的能力。因此,模型压缩已成为克服该问题的活跃研究领域。此外,DNN通常需要大量的标记数据进行训练。这是其部署的第二个限制。领域自适应(DA)通过允许在一个标记的源分布上学习的知识被转移到可能未标记的目标分布来解决这个问题。在本文中,我们调查可能的改进压缩方法在DA设置。我们专注于一个压缩方法,以前开发的背景下,一个单一的数据分布,并表明,在压缩过程中使用的数据和额外的正则化项直接相关的DA目标的仔细选择,它是可能的,以改善压缩结果。我们还表明,我们的方法优于现有的压缩方法研究的DA设置的大幅度高压缩率。虽然我们的工作是基于一个特定的压缩方法,我们也概述了一些一般性的指导方针,以提高压缩DA设置。
2020-08-25 cs.CV cs.LG stat.ML
Compressing Features for Learning with Noisy Labels
KU Leuven(鲁汶大学);Samsung AI Center(三星人工智能中心);Tencent AI lab(腾讯人工智能实验室);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
监督学习可以被看作是从输入数据中提取相关信息到特征表示中。当监督是嘈杂的时,这个过程变得困难,因为提取的信息可能不相关。事实上,最近的研究表明,网络很容易过拟合所有标签,包括那些被破坏的标签,因此很难推广到干净的数据集。在本文中,我们专注于带噪声标签的学习问题,并将压缩归纳偏差引入网络架构,以缓解这种过拟合问题。更确切地说,我们重新审视了一个经典的正则化称为Dropout和它的变种嵌套Dropout。Dropout可以作为其特征丢弃机制的压缩约束,而Nested Dropout进一步学习有序特征表示w.r.t.特征重要性。此外,压缩正则化的训练模型进一步与Co-teaching相结合,以提高性能。在理论上,我们对压缩正则化下的目标函数进行了偏差-方差分解。我们针对单一模型和联合教学进行了分析。这种分解提供了三个见解:(i)它表明过拟合确实是使用有噪标签学习的一个问题;(ii)通过信息瓶颈公式,它解释了为什么提出的特征压缩有助于对抗标签噪音;(iii)它解释了将压缩正则化纳入联合教学带来的性能提升。实验表明,我们的简单方法可以在具有真实世界标签噪声的基准测试(包括Clothing 1 M和ANIMAL-10 N)上具有与最先进的方法相当甚至更好的性能。我们的实现可以在https://yingyichen-cyy.github.io/CompressFeatNoisyLabels/上获…
2022-06-27 cs.LG stat.ML
Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees
École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
我们引入了一个框架- Artemis -来解决在分布式或联邦设置与通信约束和设备部分参与的学习问题。几个工人(随机抽样)使用中央服务器执行优化过程,以聚合他们的计算。为了减轻通信成本,Artemis允许压缩在两个方向(从工作者到服务器,反之亦然)发送的信息,并结合内存机制。它改进了现有的算法,这些算法只考虑单向压缩(到服务器),或者对压缩算子使用非常强的假设,并且通常不考虑设备的部分参与。我们提供快速的收敛速度(线性阈值)弱假设下的随机梯度(噪声的方差界仅在最佳点)在非独立同分布。设置,突出显示单向和双向压缩的内存影响,分析Polyak-Ruppert平均值。我们使用收敛分布,以获得一个下限的渐近方差,突出了实际的限制压缩。我们提出了两种方法来解决具有挑战性的情况下,设备部分参与,并提供实验结果来证明我们的分析的有效性。
2022-06-19 cs.LG stat.ML
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一,因为它能够揭示复杂结构之间的潜在关系。然而,大多数现有的方法,压缩网络逐层,这不能提供一个令人满意的解决方案,以实现全局优化。在本文中,我们提出了一种模型简化方法,使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法,用来抑制压缩过程中的不重要因素,从而更容易地显示出合适的秩。实验结果表明,与其他张量压缩方法相比,该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18,我们的简化模型在GMAC方面可以达到两倍以上的速度,而Top-1精度仅下降0.7%,这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
Joint Regularization on Activations and Weights for Efficient Neural Network Pruning
Duke University(杜克大学);Black Sesame Technologies(黑芝麻科技)
随着深度神经网络(DNN)的快速扩展,已经对诸如权重修剪的网络模型压缩进行了广泛的研究,以提高部署效率。这项工作的目的是推进压缩超出神经元激活的权重。我们提出了联合正则化技术,同时调节权重和激活的分布。通过区分和利用学习过程中神经元响应和连接之间的显著性差异,联合修剪网络(即\textit{JPnet})优化了激活和权重的稀疏性,以提高执行效率。JPnet的深度稀疏化揭示了专用于稀疏矩阵运算的现有DNN加速器的更多优化空间。我们通过具有不同激活函数和不同数据集的各种网络模型,彻底评估了联合正则化的有效性。通过对推理精度的$0.4\%$降级约束,与原始密集模型相比,JPnet可以节省$72.3\% \sim 98.8\%$的计算成本,分别在激活数和权重数上减少多达$5.2\times$和$12.3\times$。
2019-09-13 cs.LG stat.ML
Compression-Based Regularization with an Application to Multi-Task Learning
Facultad de Ingeniería - Universidad de Buenos Aires(布宜诺斯艾利斯大学工程学院);CSC-CONICET(阿根廷国家科学与技术研究理事会计算科学中心);CentraleSupélec(巴黎中央理工-高等电力学院);CNRS(法国国家科学研究中心);Université Paris-Sud(巴黎南大学)
本文从信息论的角度研究了一个基于以下原则的学习问题:给定数据集中的任何规律性都可以用来从数据中提取紧凑特征,即,使用比完全描述数据本身所需的更少的位,以便构建相关内容的有意义的表示(多个标签)。我们首先介绍了噪声有损源编码范式与对数损失保真度标准,它提供了基本的权衡之间的\emph{cross-entropy loss}(平均风险)和信息率的功能(模型复杂性)。我们的方法允许信息理论制定的\emph{multi-task learning}(MTL)的问题,这是一个监督的学习框架中,几个相关的任务的预测模型共同学习,从共同的表示,以实现更好的泛化性能。然后,我们提出了一个迭代算法计算的最佳权衡和它的全局收敛性证明了一些条件成立。该算法的一个重要特性是,它提供了一个自然的保护措施,防止过拟合,因为它最大限度地减少了平均风险,同时考虑到模型复杂性引起的惩罚。值得注意的是,实证结果表明,存在一个最佳的信息率最小化的\emph{excess risk},这取决于可用的训练数据的性质和数量。层次文本分类的应用程序也进行了研究,扩展以前的作品。
2017-11-19 cs.LG stat.ML
Comprehensive SNN Compression Using ADMM Optimization and Activity Regularization
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
众所周知,人工神经网络(ANN)和脉冲神经网络(SNN)的巨大存储器和计算成本极大地阻碍了它们在边缘设备上的高效部署。模型压缩是一种通过减少模型参数和运算量来提高模型运行效率的方法。然而,这种技术主要在ANN而不是SNN中实践。回答SNN模型可以被压缩多少而不损害其功能是有趣的,其中应该解决两个挑战:i)SNN的准确性通常对模型压缩敏感,这需要精确的压缩方法; ii)SNN的计算是事件驱动的而不是静态的,这在动态尖峰上产生额外的压缩维度。为此,我们通过三个步骤实现了全面的SNN压缩。首先,我们制定的连接修剪和权重量化作为一个约束优化问题。其次,我们结合时空反向传播(STBP)和交替方向乘法器(ADMM)的方法来解决这个问题,以最小的精度损失。第三,我们进一步提出活动正则化,以减少尖峰事件较少的活动操作。这些方法可以以单一方式用于中度压缩或以联合方式用于积极压缩。我们定义了几个量化指标来评估SNN的压缩性能。我们的方法在MNIST,N-MNIST,CIFAR 10和CIFAR 100数据集上的模式识别任务中得到了验证,其中提供了广泛的比较,分析和见解。据我们所知,这是第一个工作,研究SNN压缩在一个全面的方式,利用所有的可压缩组件,并取得了更好的结果。
2020-08-20 cs.LG cs.NE eess.SP
On the Compression of Neural Networks Using $\ell_0$-Norm Regularization and Weight Pruning
Federal University of Santa Catarina(圣卡塔琳娜联邦大学)
本文提出结合新型 ℓ0 范数正则化、权重剪枝、ℓ2 正则化与微调的神经网络压缩方案,以训练稀疏性并获得小型高效网络。
2023-12-18 cs.AI cs.LG eess.SP
Partial differential equation regularization for supervised machine learning
本文概述了回归和分类的监督机器学习问题。主题包括:核方法、通过随机梯度下降进行训练、深度学习架构、分类损失、统计学习理论和维度独立的泛化界限。介绍了深度学习示例中的隐式正则化,包括数据增强、对抗性训练和加性噪声。这些方法被重新定义为显式梯度正则化。
2019-10-03 cs.LG math.AP stat.ML
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal(蒙特利尔大学米拉研究所);Microsoft Research(微软研究院);Canada CIFAR AI chair(加拿大高级研究所加拿大人工智能主席项目)
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应,沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型,我们激励和研究的启发式复杂性措施,捕捉这种现象,在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Ising-Dropout: A Regularization Method for Training and Compression of Deep Neural Networks
University of Toronto(多伦多大学)
过拟合是训练机器学习模型的主要问题,特别是深度神经网络。这个问题可能是由不平衡的数据集和模型参数的初始化引起的,这使模型过于接近训练数据,并且负面地影响模型对于看不见的数据的泛化性能。最初的dropout是一种正则化技术,用于在训练过程中随机丢弃隐藏单元。在本文中,我们提出了一种自适应技术,明智地删除在一个深神经网络的伊辛能量的网络中的可见和隐藏的单元。初步结果表明,该方法在保持原有网络分类性能的同时,避免了在每个训练周期中对不必要的网络参数进行优化。单元的退出状态也可以应用于训练的(推理)模型。对于MNIST和Fashion-MNIST数据集上的分类任务,该技术可以分别将网络的参数数量压缩到41.18%和55.86%。
2019-02-07 cs.LG cs.NE
A Unified DNN Weight Compression Framework Using Reweighted Optimization Methods
Syracuse University(雪城大学);Northeastern University(东北大学);University of Connecticut(康涅狄格大学);Alibaba Group(阿里巴巴集团)
为了解决深度神经网络(DNN)的大模型尺寸和密集计算需求,已经提出了权重修剪技术,并且权重修剪技术通常分为两类,即,基于静态正则化的修剪和基于动态正则化的修剪。然而,前一种方法目前遭受复杂的工作负载或精度下降,而后者需要很长的时间来调整参数,以实现所需的修剪率而不损失精度。在本文中,我们提出了一个统一的DNN权重修剪框架,动态更新的正则化项由指定的约束,它可以生成非结构化稀疏和不同类型的结构化稀疏。我们还将我们的方法扩展到一个集成框架,用于组合不同的DNN压缩任务。
2020-04-12 cs.CV cs.LG cs.NE
Ensuring Topological Data-Structure Preservation under Autoencoder Compression due to Latent Space Regularization in Gauss--Legendre nodes
Center for Advanced Systems Understanding (CASUS)(高级系统理解中心);Helmholtz-Zentrum Dresden-Rossendorf e.V. (HZDR)(德累斯顿-罗森多夫亥姆霍兹研究中心)
本文提出一种基于Gauss–Legendre节点采样Jacobian的数据无关潜空间正则化方法,证明其能确保自编码器实现一对一拓扑保持嵌入,并在FashionMNIST和MRI脑扫描数据上验证了其优于收缩自编码等方法的效果。
2023-09-21 cs.LG math.DG
HARD-KV: Head-Adaptive Regularization for Decoding-time KV Compression
提出HARD-KV框架,通过级联缓存层次和对数校准机制,解决头自适应压缩算法与静态内存模式的不匹配,实现高效长上下文推理。
2026-06-27 cs.AI cs.LG
HERA: Partial Label Learning by Combining Heterogeneous Loss with Sparse and Low-Rank Regularization
Beijing Jiaotong University(北京交通大学);Hangzhou Dianzi University(杭州电子科技大学)
部分标签学习(PLL)旨在从数据中学习,其中每个训练实例与一组候选标签相关联,其中只有一个是正确的。大多数现有的方法通过平等对待每个候选标签或迭代地识别地面真实标签来处理这样的问题。在本文中,我们提出了一种新的PLL方法,称为HERA,它同时结合了Heterogeneous Loss和SpaRse和Low-rAnk过程来估计每个实例的标签置信度,同时训练模型。具体地说,异构损失综合了成对排序损失和逐点重构损失的优点,为标签识别提供了有用的标签排序和重构信息,而嵌入式稀疏低秩方案限制了地面真实标签矩阵的稀疏性和噪声标签矩阵的低秩,以探索整个训练数据之间的全局标签相关性,从而改进了学习模型。在人工和真实世界数据集上的大量实验表明,我们的方法可以实现优于或与最先进的方法相当的性能。
2019-06-03 cs.LG stat.ML
Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文提出向量值变分空间理论框架,通过表示定理揭示多输出网络宽度与数据量关系,并建立权重衰减与多任务套索的联系,为网络压缩提供凸优化方法。
2024-07-24 cs.LG stat.ML
A Self-paced Regularization Framework for Partial-Label Learning
Beijing Jiaotong University(北京交通大学)
部分标签学习(PLL)旨在解决每个训练实例与一组候选标签相关联的问题,其中一个是正确的标签。大多数PLL算法试图通过简单地平等对待每个候选标签或迭代地识别真实标签来消除候选标签集的歧义。然而,现有的算法通常平等地对待所有的标签和实例,并且在学习阶段没有考虑标签和实例的复杂性。受自步调学习策略在机器学习领域的成功应用启发,将自步调机制融入部分标签学习框架,提出了一种新的自步调部分标签学习(SP-PLL)算法,该算法通过在每次学习迭代中对训练样本及其候选标签的优先级进行排序来控制学习过程,从而缓解学习过程中的问题.大量的实验和与其他基线方法的比较证明了该方法的有效性和鲁棒性。
2018-05-08 cs.AI cs.LG stat.ML
Ricci flow regularization in latent spaces for the forward learning of partial differential equations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出基于流形的机器学习编码器-解码器方法,通过里奇流演化潜在空间来学习时间动态,特别是偏微分方程。方法通过参数化潜在流形并模拟物理约束下的里奇流,实现低维表示学习及对抗鲁棒性。
2026-06-08 cs.LG stat.ML
Gradient-Coherent Strong Regularization for Deep Neural Networks
Huawei Research America(华为美国研究院);Jilin University(吉林大学);Innopeak Technology(Innopeak科技)
正则化在深度神经网络的泛化中起着重要作用,深度神经网络往往容易因其众多的参数而过拟合。L1和L2正则化器是机器学习中常用的正则化工具,具有简单性和有效性。然而,我们观察到,在深度神经网络上施加强L1或L2正则化和随机梯度下降很容易失败,这限制了底层神经网络的泛化能力。为了理解这一现象,我们首先研究了当对深度神经网络施加强正则化时,学习如何以及为什么会失败。然后,我们提出了一种新的方法,梯度相干强正则化,这使得正则化只有当梯度保持相干强正则化的存在。在三个用于图像识别的基准数据集上使用多个深度架构进行实验。实验结果表明,我们提出的方法确实能够承受强正则化,并显着提高了精度和压缩(高达9.9倍),这是其他方法无法实现的。
2019-10-18 cs.CV cs.LG stat.ML
NESTA: Hamming Weight Compression-Based Neural Proc. Engine
George Mason University(乔治梅森大学)
在本文中,我们介绍了NESTA,这是一种专用的神经引擎,可以显著加速深度卷积神经网络中卷积层的计算,同时降低计算能量。NESTA将卷积重新格式化为$3 \times 3$批,并使用汉明权重压缩器的层次结构来处理每个批。此外,当处理多个通道的卷积时,NESTA不是计算每个通道的卷积的精确结果,而是快速计算其部分和的近似值和残差值,以便如果添加到近似部分和,则生成准确的输出。然后,不是立即添加剩余物,而是在具有可用容量的汉明重量压缩机中处理下一批次时使用(消耗)剩余物。该机制通过避免在每轮计算期间传播进位信号的需要缩短了关键路线,并且加速了每个通道的卷积。在计算的最后阶段,当计算出最后一个通道的部分和时,NESTA通过将剩余比特添加到近似输出以生成正确的结果来终止。
2019-10-01 cs.LG stat.ML
Real-Time Adaptive Image Compression
WaveOne Inc.(WaveOne公司)
我们提出了一种基于机器学习的有损图像压缩方法,该方法在实时运行时优于所有现有的编解码器。我们的算法通常会在所有质量级别的通用图像数据集上生成比JPEG和JPEG 2000小2.5倍、比WebP小2倍、比BPG小1.7倍的文件。与此同时,我们的编解码器被设计为轻量级和可部署的:例如,它可以在GPU上每幅图像约10毫秒内编码或解码柯达数据集。我们的架构是一个自动编码器,具有金字塔分析,自适应编码模块,和正则化的预期codelength。我们还使用专门用于压缩设置的对抗训练来补充我们的方法:这使我们能够在非常低的比特率下产生视觉上令人愉悦的重建。
2017-05-16 cs.CV cs.LG stat.ML
Saving for the future: Enhancing generalization via partial logic regularization
Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);University of Liverpool(利物浦大学);Duke Kunshan University(杜克大学昆山分校)
本文提出部分逻辑正则化方法PL-Reg,通过为未定义逻辑公式预留空间来增强模型对未知类别的泛化能力,并在多个类别发现和增量学习任务上验证了其有效性。
2025-08-21 cs.LG
LOss-Based SensiTivity rEgulaRization: towards deep sparse neural networks
University of Torino(都灵大学)
LOBSTER(LOss-Based Sensitivity rEGulaRization)是一种用于训练具有稀疏拓扑的神经网络的方法。设网络参数的灵敏度是损失函数相对于参数变化的变化。具有低灵敏度的参数,即当扰动时对损耗影响很小,被收缩,然后修剪以稀疏网络。我们的方法允许从零开始训练网络,即没有初步学习或倒带。在多个架构和数据集上的实验显示了具有竞争力的压缩比和最小的计算开销。
2020-11-16 cs.LG
L2 Regularization versus Batch and Weight Normalization
Radboud University(拉德堡德大学)
批量归一化是改进深度神经网络训练的常用技巧。这些神经网络使用L2正则化,也称为权重衰减,表面上是为了防止过拟合。然而,我们表明,L2正则化没有正则化的效果时,结合归一化。相反,正则化会影响权重的大小,从而影响有效的学习率。我们调查这种依赖性,无论是在理论上,和实验。我们表明,流行的优化方法,如ADAM只部分消除了归一化的影响,学习率。这导致了对缓解这一问题的其他方法的讨论。
2017-06-16 cs.LG stat.ML
Multi-view Orthonormalized Partial Least Squares: Regularizations and Deep Extensions
University of Texas at Arlington(德克萨斯大学阿灵顿分校);National Chiao Tung University(台湾交通大学)
以最小二乘法为基本原理,建立了一种基于子空间的多视点学习方法。具体来说,我们调查正交归一化偏最小二乘(OPLS)和多元回归和分类研究其重要属性。基于OPLS的最小二乘重构,我们提出了一个统一的多视图学习框架,用于在所有视图共享的公共潜在空间上学习分类器。正则化技术被进一步利用来释放所提出的框架的力量,通过提供三种通用类型的正则化器,其固有成分包括模型参数,决策值和潜在的投影点。我们根据各种先验实例化一组正则化器。通过适当选择正则化子,该框架不仅可以重铸现有的方法,而且可以启发新的模型。为了进一步提高所提出的框架在复杂实际问题上的性能,我们建议学习由深度网络参数化的非线性变换。在9个不同视图数的数据集上进行了大量的实验,从特征提取和跨模态检索两个方面对各种方法进行了比较。
2020-07-09 cs.CV cs.LG stat.ML
Three Dimensional Convolutional Neural Network Pruning with Regularization-Based Method
Zhejiang University(浙江大学);SUTD-ZJU IDEA(新加坡科技设计大学-浙江大学 信息与数据科学联合实验室);Singapore University of Technology and Design(新加坡科技设计大学)
三维卷积神经网络(3D CNN)在视频分析中有着广泛的应用,但由于其计算量大、存储量大等特点,限制了其在视频分析中的应用。为了解决这个问题,我们提出了一个三维正则化为基础的神经网络修剪方法来分配不同的正则化参数,不同的权重组的基础上,他们的重要性的网络。此外,我们分析了每一层的冗余和计算成本,以确定不同的剪枝率。实验表明,基于我们的方法修剪可以导致2倍的理论加速比,只有0.41%的准确率损失3DResNet18和3.28%的准确率损失C3D。与其他流行的模型压缩和加速方法相比,该方法具有良好的性能。
2019-05-20 cs.CV cs.LG stat.ML
Learning Sparse Low-Precision Neural Networks With Learnable Regularization
Samsung Semiconductor Inc.(三星半导体有限公司)
我们考虑学习由低精度权重和激活组成的深度神经网络(DNN),以有效推断定点运算。在训练低精度网络时,使用高精度权重执行向后传递中的梯度下降,而在向前传递中使用量化的低精度权重和激活来计算用于训练的损失函数。因此,梯度下降变得次优,并且精度损失随之而来。为了减少前向和后向通道中的失配,我们利用均方量化误差(MSQE)正则化。特别是,我们建议使用一个可学习的正则化系数与MSQE正则化器,以加强高精度权重的收敛到它们的量化值。我们还研究了部分L2正则化如何以类似的方式用于权重修剪。最后,结合权重修剪、量化和熵编码,建立了低精度DNN压缩流水线。在我们的实验中,所提出的方法在ImageNet分类上产生了低精度的MobileNet和ShuffleNet模型,最先进的压缩比分别为7.13和6.79。此外,我们研究了我们的图像超分辨率网络的方法,以产生8位低精度模型,性能损失可以忽略不计。
2020-05-24 cs.CV cs.LG cs.NE
Multi-class Classification from Multiple Unlabeled Datasets with Partial Risk Regularization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
近年来,监督式深度学习取得了巨大成功,其中预测模型是从大量完全标记的数据中训练出来的。然而,在实践中,标记这些大数据可能非常昂贵,甚至可能出于隐私原因而无法实现。因此,在本文中,我们的目标是学习一个准确的分类器,而无需任何类别标签。更具体地说,我们考虑的情况下,多组未标记的数据和只有他们的类先验,即,每一类的比例,都有。在这个问题的设置下,我们首先推导出一个无偏估计的分类风险,可以估计从给定的未标记集和理论分析的泛化误差的学习分类。然后,我们发现,这样获得的分类器往往会导致过度拟合,因为它的经验风险在训练过程中变为负值。为了防止过拟合,我们进一步提出了一种部分风险正则化,它将未标记数据集和类的部分风险保持在一定水平。实验表明,我们的方法有效地减轻了过拟合,并优于最先进的方法,从多个未标记的集合学习。
2022-10-15 cs.LG
SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks
University of Turin(都灵大学);Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院)
深度神经网络包含数百万个可学习的参数,这使得它们在资源受限的设备上的部署成为问题。SeReNe(基于灵敏度的神经元正则化)是一种学习具有结构的稀疏拓扑的方法,利用神经灵敏度作为正则化器。我们将神经元的灵敏度定义为网络输出相对于神经元活动变化的变化。神经元的灵敏度越低,如果神经元输出改变,则网络输出受到的扰动就越小。通过在代价函数中包含神经元灵敏度作为正则化项,我们能够修剪具有低灵敏度的神经元。由于整个神经元被修剪,而不是单个参数,实际的网络足迹减少成为可能。我们在多个网络架构和数据集上的实验结果与最先进的参考文献相比,具有竞争力的压缩比。
2021-02-07 cs.AI cs.LG stat.ML
Improving Accelerated Federated Learning with Compression and Importance Sampling
University of Oxford(牛津大学);KAUST(阿卜杜拉国王科技大学)
本文提出融合本地训练、梯度压缩与部分参与的加速联邦学习方法,并通过重要性采样进一步提升性能,给出最先进收敛保证及实验验证。
2023-06-05 cs.LG
Analysis of Error Feedback in Federated Non-Convex Optimization with Biased Compression
LinkedIn Ads(领英广告)
在联邦学习(FL)系统中,例如,在无线网络中,客户端和中央服务器之间的通信成本通常是瓶颈。为了降低通信成本,通信压缩范式已经成为文献中流行的策略。在本文中,我们专注于有偏梯度压缩技术在非凸FL问题。在分布式学习的经典环境中,误差反馈(EF)方法是一种常见的技术,可以弥补有偏梯度压缩的缺点。在这项工作中,我们研究了一个压缩FL计划配备了错误反馈,命名为Fed-EF。我们进一步提出了两个变体:Fed-EF-SGD和Fed-EF-AMS,这取决于全局模型优化器的选择。我们提供了一个通用的理论分析,这表明,直接应用有偏压缩FL导致收敛速度的非零偏差。建议Fed-EF是能够匹配的全精度FL同行的数据异构下的收敛速度与线性加速比。此外,我们开发了一个新的分析EF下部分客户端的参与,这是一个重要的场景在FL。我们证明了部分参与下,联邦EF的收敛速度表现出额外的减速因素,由于所谓的“陈旧的错误补偿”的效果。数值研究证明了部分参与下陈旧误差积累对Fed-EF范数收敛性的直观影响。最后,我们还证明了在Fed-EF中引入双向压缩并不会改变收敛结果。总之,我们的工作进行了深入的分析,在联邦非凸优化的错误反馈。我们的分析与部分客户端的参与,也提供了一个错误反馈机制的理论局限性的见解,和可能的改进方向。
2022-11-25 cs.IT cs.LG math.IT
Partial Graph Reasoning for Neural Network Regularization
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学);Paige AI;Tencent AI Lab(腾讯人工智能实验室)
正则化器帮助深度神经网络防止特征共适应。Dropout作为一种常用的正则化技术,在网络优化过程中,stochondrial禁用神经元激活。然而,这种完整的特征处理会影响特征表示和网络理解。为了更好地描述潜在表示,我们提出了DropGraph,它通过从主干特征构建一个独立的图来学习正则化函数。DropGraph首先对随机空间特征向量进行采样,然后结合图推理方法来生成特征地图失真。这个附加图在训练过程中使网络规则化,并且在推理过程中可以完全跳过。我们提供了直观的图推理和辍学之间的联系,进一步讨论部分图推理方法如何减少特征相关性。为此,我们广泛地研究了图形顶点依赖关系的建模和扭曲骨干特征图的利用。DropGraph在4个任务上进行了验证,共有8个不同的数据集。实验结果表明,我们的方法优于其他国家的最先进的正则化,而在推理过程中保持基本模型结构不变。
2022-01-24 cs.CV cs.LG
Lossless Compression of Deep Neural Networks
Bucknell University(巴克内尔大学);The University of Utah(犹他大学)
深度神经网络在许多预测建模任务中取得了成功,例如图像和语言识别,其中大型神经网络通常用于获得良好的准确性。因此,在有限的计算资源下(例如在移动设备中)部署这些网络是具有挑战性的。在这项工作中,我们引入了一种算法,该算法删除神经网络的单元和层,同时不改变产生的输出,因此意味着无损压缩。这种算法,我们表示为LEO(无损表达优化),依赖于混合线性规划(MILP)来识别在输入域上具有线性行为的整流线性单元(ReLU)。通过使用L1正则化来诱导这种行为,我们可以从更大的架构上进行训练中受益,而不是稍后在部署经过训练的神经网络的环境中使用。
2020-02-22 cs.DS cs.LG math.OC
Adversarial Network Compression
Technische Universität München(慕尼黑工业大学);OSRAM GmbH(欧司朗有限公司)
由于现代深度模型的计算需求,神经网络压缩最近受到了广泛关注。在这项工作中,我们的目标是将知识从深度和准确的模型转移到较小的模型中。我们的贡献有三个方面:(i)我们提出了一种对抗性网络压缩方法来训练小型学生网络以模仿大型教师,而不需要在训练期间使用标签;(ii)我们引入了一种正则化方案来防止平凡的强干扰,而不降低网络容量;(iii)我们的方法适用于不同的教师-学生模型。在对五个标准数据集的广泛评估中,我们表明我们的学生具有较小的准确性下降,比其他知识转移方法获得了更好的性能,并且超过了用标签训练的相同网络的性能。此外,我们展示了国家的最先进的结果相比,其他压缩策略。
2018-11-14 cs.CV cs.LG
Adaptive Estimators Show Information Compression in Deep Neural Networks
Yobota ltd(Yobota有限公司);University of Bristol(布里斯托大学)
本文提出自适应互信息估计技术,发现激活函数饱和非压缩必需,L2正则化增加压缩防过拟合,且仅最后一层压缩与泛化正相关。
2023-03-30 cs.LG cs.NE stat.ML
Smooth Model Compression without Fine-Tuning
University of Cambridge(剑桥大学);University of Siegen(辛根大学)
本文提出利用平滑正则化(核范数及导数惩罚)训练神经网络以促进结构化平滑,并基于此应用SVD低秩张量近似方法,无需微调即可在保持高准确率的同时大幅减少模型参数。
2025-05-30 cs.LG
Training Thinner and Deeper Neural Networks: Jumpstart Regularization
Universitat de Barcelona(巴塞罗那大学);Bucknell University(巴克内尔大学)
当神经网络具有多个层时,它们的表达能力更强。反过来,传统的训练方法只有在深度不会导致诸如梯度爆炸或消失之类的数值问题时才是成功的,当层足够宽时,这些问题发生的频率较低。然而,增加宽度以获得更大的深度需要使用更重的计算资源,并导致过度参数化的模型。这些后续问题已经通过诸如量化和修剪的模型压缩方法部分地解决,其中一些依赖于损失函数的基于归一化的正则化以使大多数参数的影响可以忽略。在这项工作中,我们建议使用正则化来防止神经元死亡或变得线性,我们将这种技术称为跳跃式正则化。与传统训练相比,我们获得的神经网络更薄,更深,最重要的是,更有效的参数。
2022-06-05 cs.LG math.OC
Compression of Deep Neural Networks on the Fly
Télécom Bretagne(布列塔尼电信学院)
由于其最先进的性能,深度神经网络越来越多地用于对象识别。为了实现这些结果,他们使用数百万个参数进行训练。然而,当针对嵌入式应用程序时,这些模型的大小就成了问题。因此,禁止在智能手机或其他资源有限的设备上使用它们。在本文中,我们介绍了一种在学习阶段执行的深度神经网络的新压缩方法。它包括在全连接层的成本函数中添加额外的正则化项。我们将这种方法与训练权重的产品量化(PQ)相结合,以节省更高的存储消耗。我们在两个数据集(MNIST和CIFAR10)上评估了我们的方法,在这两个数据集上,我们实现了比最先进的方法更大的压缩率。
2016-03-18 cs.CV cs.LG cs.NE
Prediction Under Imperfect Compression: A Theory of Approximate MDL
Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Southern California(南加州大学)
本文研究了在近似优化下,最小描述长度(MDL)原则仍能保证可靠序列预测的条件,证明了加性松弛下的鲁棒性并刻画了正则化的必要性。
2026-06-03 cs.LG
Manifold Regularization for Memory-Efficient Training of Deep Neural Networks
University of Rochester(罗切斯特大学);FLXAI
本文提出一种利用归纳偏置网络设计和逐层流形正则化目标提升传统神经网络训练内存效率的框架,在CIFAR-10和CIFAR-100上验证了其性能与泛化优势,并可与现有压缩方法结合进一步节省内存。
2023-05-26 cs.CV cs.LG stat.ML
Sparse Partial Optimal Transport via Quadratic Regularization
Department of Computer Science, Ho Chi Minh University of Science(胡志明大学计算机科学系);School of Science, Aalto University(艾尔沃斯大学科学学院);Department of Science, Lycée Français Alexandre Yersin de Hanoi(河内亚历山大·耶尔辛法语中学科学系);Department of Math, High School for the Gifted(天才高中数学系);Department of Electrical and Computer Engineering, University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校电子与计算机工程系);Department of Computer Science, Georgia Institute of Technology(佐治亚理工学院计算机科学系);Department of Computer Science, Binh Duong University(平杜ong大学计算机科学系)
本文提出了一种基于二次正则化的部分最优传输(QPOT)新方法,通过引入稀疏性解决了传统熵正则化方法产生密集传输计划的问题,并在合成和真实数据集及实际应用中验证了其优越的稀疏性和性能。
2025-08-11 cs.LG
Optical Flow Regularization of Implicit Neural Representations for Video Frame Interpolation
Kobe University(神户大学)
最近的工作表明,隐式神经表征(INR)的能力进行有意义的表示信号的衍生物。在这项工作中,我们利用这一属性来执行视频帧插值(VFI)明确约束的导数的INR,以满足光流约束方程。我们只使用目标视频及其光流在有限的运动范围上实现了最先进的VFI,而不需要从额外的训练数据中学习插值算子。我们进一步表明,约束INR导数不仅可以更好地插值中间帧,而且还提高了窄网络的能力,以适应观察到的帧,这表明潜在的应用视频压缩和INR优化。
2022-06-22 cs.CV cs.LG
Compress the Easy, Explore the Hard: Difficulty-Aware Entropy Regularization for Efficient LLM Reasoning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);College of Computer Science and Technology(计算机科学与技术学院);Didichuxing Co. Ltd(滴滴出行有限公司)
提出CEEH方法,通过难度感知的熵正则化,在强化学习中对简单问题压缩推理长度,对困难问题保持探索空间,从而在减少响应长度的同时维持推理准确性。
2026-06-23 cs.LG
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们目前的实验表明,一些其他形式的容量控制,不同的网络规模,在学习多层前馈网络中起着核心作用。我们认为,部分通过类比矩阵分解,这是一个归纳的偏见,可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
Quantization-Aware Regularizers for Deep Neural Networks Compression
Italian MUR PRIN project(意大利MUR PRIN项目);National Plan for NRRP Complementary Investments(国家NRRP补充投资计划)
本文提出了一种深度神经网络压缩方法,通过在训练过程中引入每层正则化项,使权重自然形成聚类,从而减少量化带来的精度损失,同时保持压缩潜力,并首次将量化参数嵌入反向传播过程。
2026-02-03 cs.LG
FedMAC: Tackling Partial-Modality Missing in Federated Learning with Cross-Modal Aggregation and Contrastive Regularization
Hanoi University of Science and Technology(河内科学技术大学);Nagoya University(名古屋大学);Washington State University(华盛顿州立大学);Swiss Federal Institute of Technology Lausanne(洛桑联邦理工学院)
本文提出FedMAC框架,通过跨模态聚合和对比正则化解决联邦学习中实例级部分模态缺失问题,在严重缺失场景下性能比基线提升高达26%。
2025-11-10 cs.LG cs.MM
Holistic Adversarially Robust Pruning
KASTEL Security Research Labs, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院KASTEL安全研究实验室)
提出HARP方法,通过全局压缩策略和动态正则化,在整体网络层面优化各层剪枝率与参数选择,在99%压缩率下维持模型准确率与对抗鲁棒性。
2024-12-19 cs.LG
In Situ Training of Implicit Neural Compressors for Scientific Simulations via Sketch-Based Regularization
Applied Mathematics, University of Washington, Seattle(华盛顿大学应用数学系,西雅图);Applied Mathematics, University of Colorado, Boulder(科罗拉多大学应用数学系,伯尔德);Ann and H.J. Smead Department of Aerospace Engineering Sciences, University of Colorado, Boulder(科罗拉多大学伯尔德分校安与H.J. 塞梅德航空航天工程科学系)
本文提出基于草图正则化的隐式神经压缩器原地训练方法,通过有限内存缓冲区实现高压缩率下的重建性能,展示草图能近似匹配离线方法性能。
2026-08-10 cs.AI cs.CE cs.LG
Scaling Up Exact Neural Network Compression by ReLU Stability
Bucknell University(巴克内尔大学);University of Utah(犹他大学);Michigan State University(密歇根州立大学);Google Research(谷歌研究院)
我们可以压缩整流器网络,同时精确地保留其关于给定输入域的底层功能,如果它的一些神经元是稳定的。然而,目前确定具有整流线性单元(ReLU)激活的神经元的稳定性的方法需要解决或找到多个离散优化问题的良好近似。在这项工作中,我们介绍了一个算法的基础上解决一个单一的优化问题,以确定所有稳定的神经元。我们的方法比CIFAR-10上的最先进方法快183倍,这使我们能够在几分钟内探索更深(5 x 100)和更宽(2 x 800)网络的精确压缩。对于在一定量的L1正则化下训练的分类器,我们可以在CIFAR-10数据集上删除多达56%的连接。代码可在以下链接https://github.com/yuxwind/ExactCompression上获得。
2021-10-28 cs.LG math.OC
Sparse Recovery via Partial Regularization: Models, Theory and Algorithms
Simon Fraser University(西蒙弗雷泽大学)
在稀疏恢复的上下文中,已知大多数现有的正则化器(诸如$\ell_1$)遭受由相关联的向量的一些前导条目(在幅度上)引起的一些偏差。为了消除这种偏见,我们提出了一类模型与部分正则化恢复稀疏解的线性系。我们发现,这些模型的每一个局部极小是足够稀疏的或其所有的非零项的幅度是以上的一个统一的常数只依赖于数据的线性系。此外,对于一类部分正则化子,这些模型的任何全局极小解都是线性系的稀疏解。我们还建立了线性系稀疏解局部或整体恢复的充分条件,其中一个条件弱于$\ell_1$关于稀疏恢复的最佳限制等距性(RIP)条件.此外,一阶可行的增广拉格朗日(FAL)方法,提出了解决这些模型,其中每个子问题是由一个非单调近似梯度(NPG)方法求解。尽管部分正则化的复杂性,我们表明,在NPG中的每个邻近子问题可以解决一定数量的一维最优化问题,通常有一个封闭的形式的解决方案。我们还证明了FAL产生的序列的任何聚点都是模型的一阶平稳点。压缩感知和稀疏逻辑斯谛回归的数值结果表明,所提出的模型大大优于文献中广泛使用的解决方案的质量。
2015-11-23 cs.IT cs.LG math.IT
Jacobian-Adaptive Weighting for Stability: Enhancing Long-term Rollout of Neural Partial Differential Equation Solvers via Spatially-Adaptive Regularization
University of Hiroshima(广岛大学)
提出Jacobian-自适应加权稳定性方法,通过空间异方差不确定性建模实现自适应正则化,在平滑区域强制收缩抑制噪声,在奇异特征附近放松约束保留梯度,实现短时记忆高效训练达到长时基线精度。
2026-06-23 cs.AI cs.LG physics.comp-ph
Quantized Delta Weight Is Safety Keeper
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Jinan University(暨南大学)
针对专有语言模型微调的高资源需求与安全风险,本文评估部分压缩方法对安全的影响,发现量化增量权重的部分压缩可在效用损失不足10%时大幅降低对齐破坏、后门攻击等安全风险。
2024-11-29 cs.AI cs.CR cs.LG
Diversity Networks: Neural Network Compression Using Determinantal Point Processes
Massachusetts Institute of Technology(麻省理工学院)
我们介绍Divnet,这是一种用于学习具有不同神经元的网络的灵活技术。Divnet通过在给定层的神经元上放置一个决定点过程(DPP)来模拟神经元的多样性。它使用这个DPP来选择不同神经元的子集,然后将冗余神经元融合到所选神经元中。与以前的方法相比,Divnet提供了一种更有原则、更灵活的技术来捕获神经元的多样性,从而隐式地执行正则化。这可以有效地自动调整网络架构,并在不影响性能的情况下缩小网络规模。此外,通过专注于多样性和神经元融合,Divnet仍然与其他寻求减少网络内存足迹的程序兼容。我们提出的实验结果证实了我们的主张:修剪神经网络,Divnet被认为是明显优于竞争的方法。
2017-04-18 cs.LG cs.NE