iVPF: Numerical Invertible Volume Preserving Flow for Efficient Lossless Compression
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
如今,存储快速增长的大数据是不平凡的,这需要高性能的无损压缩技术。基于似然的生成模型已经证明了它们在无损压缩上的成功,其中基于流的模型在允许利用双射映射的精确数据似然优化方面是期望的。然而,常见的连续流与编码方案的离散性相矛盾,这需要1)对流模型施加严格的约束,这降低了性能,或者2)编码大量的双射映射错误,这降低了效率。本文研究了无损压缩的保体积流,证明了无误差的双射映射是可能的。本文在一般保体积流的基础上,提出了数值可逆保体积流(iVPF)。通过在流模型上引入新的计算算法,实现了精确的双射映射,而没有任何数值误差。本文还提出了一种基于iVPF的无损压缩算法。在不同数据集上的实验表明,基于iVPF的算法在轻量级压缩算法中达到了最先进的压缩比。
2021-11-01 cs.LG
Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression?
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究稀疏自编码器中哪些读出能在稀疏压缩中幸存的问题,核心方法是将最优岭预测算子间的矩阵值失真与重建损失结合训练解码器保留SAEs,主要贡献为得出重建质量不能决定读出幸存情况等结论。
2026-09-15 cs.LG
GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
MWS AI(MWS人工智能公司);ITMO University(圣彼得堡国立信息技术机械与光学大学)
提出免训练的跨层权重配对与共享字典分解框架,保留层几何结构,实现高效压缩并优于现有方法。
2026-11-13 cs.LG
Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs
Fraunhofer HHI(弗劳恩霍夫研究所)
提出AIR框架,基于SVD和反向信号影响度量,通过单次交替最小二乘扫描实现权重矩阵的低秩近似,在参数保留≤60%时困惑度比SVD-LLM(W)改善>18%,并减少90%校准数据。
2026-09-09 cs.LG
Deep Generative Models for Distribution-Preserving Lossy Compression
ETH Zürich(苏黎世联邦理工学院);Google AI Perception(谷歌人工智能感知部);Google Brain(谷歌大脑)
提出并研究了保分布有损压缩问题。受最近的进展,在极端的图像压缩,允许保持伪影的重建,即使在非常低的比特率,我们建议优化率失真权衡的约束下,重建的样本遵循分布的训练数据。由此产生的压缩系统恢复了频谱的两端:一方面,在零比特率下,它学习数据的生成模型,而在足够高的比特率下,它实现了完美的重建。此外,对于中间比特率,它在学习训练数据的生成模型和完美地重建训练样本之间平滑地插值。我们研究了几种方法来近似解决所提出的优化问题,包括一种新的组合Wasserstein GAN和Wasserstein自动编码器,并提出了一个广泛的理论和经验表征的压缩系统。
2018-10-28 cs.LG stat.ML
Does Graph Compression Preserve Signal Propagation?
研究图压缩中粗化和稀疏化两种范式对信号传播行为的影响,通过三个指标在五个数据集等多种条件下测量,发现两者在保留信号多样性和传播保真度上存在矛盾,强调需联合考虑两维度的评估协议。
2026-07-28 cs.LG
Auxiliary-predicted Compress Memory Model(ApCM Model): A Neural Memory Storage Model Based on Invertible Compression and Learnable Prediction
本文提出ApCM模型,通过可逆压缩和可学习预测解决大语言模型运行时内存机制不足的问题,提升动态个性化交互能力。
2026-04-05 cs.LG
NoWag: A Unified Framework for Shape Preserving Compression of Large Language Models
University of California, Los Angeles(加州大学洛杉矶分校);Georgia Institute of Technology(佐治亚理工学院);Princeton University(普林斯顿大学)
NoWag提出了一种统一的单次形状保持压缩框架,通过向量量化和剪枝技术有效压缩大型语言模型,展示了其在性能上的优势。
2026-01-27 cs.AI cs.LG
Neural Weight Compression for Language Models
POSTECH(POSTECH大学);Samsung Electronics Co., Ltd(三星电子公司)
提出神经权重压缩(NWC)框架,通过训练神经编解码器在预训练权重数据集上实现高效压缩,解决张量异质性和重建损失与下游性能不匹配问题,在4-6比特区间取得优异精度-压缩权衡。
2026-05-27 cs.LG
Gram-Space: Structure-Preserving Codebook Compression for Memory-Efficient Neuro-Symbolic AI
University of California Riverside(加州大学河滨分校)
本文提出Gram-Space压缩框架,通过格拉姆-施密特正交化保留VSA所需点积结构,可降低神经符号AI模型GPU内存使用与推理延迟,提升硬件利用率。
2026-08-04 cs.LG
Elastic-dLLM: Position Preserving Context Compression and Augmentation of Diffusion LLMs
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Infinigence AI
本文针对扩散大语言模型中上下文压缩和增强问题,提出了一种位置保持的上下文压缩和终端感知增强方法,以提高解码效率并实现长上下文扩展。
2026-05-18 cs.LG
Low-Rank+Sparse Tensor Compression for Neural Networks
University of California, Santa Barbara(加州大学圣巴巴拉分校);Facebook Inc.(Facebook公司)
低秩张量压缩已被提出作为一种有前途的方法,以减少神经网络部署在边缘设备上的内存和计算需求。张量压缩通过假设网络权重具有粗略的高阶结构来减少表示神经网络权重所需的参数的数量。这种粗结构假设已经被应用于压缩大型神经网络,如VGG和ResNet。然而,用于计算机视觉任务的现代最先进的神经网络(即MobileNet,EfficientNet)已经通过深度可分离卷积假设了粗糙的因子分解结构,使得纯张量分解成为一种不太有吸引力的方法。我们建议将低秩张量分解与稀疏修剪相结合,以便利用粗结构和细结构进行压缩。我们在SOTA架构(MobileNetv3,EfficientNet,视觉Transformer)中压缩权重,并将这种方法与稀疏修剪和张量分解进行比较。
2021-11-02 cs.LG
Deep Compression of Neural Networks for Fault Detection on Tennessee Eastman Chemical Processes
Nuro Inc.(Nuro公司)
人工神经网络在Tennessee Eastman过程的故障检测中取得了很好的效果,但它往往需要大量的内存来支持其大量的参数。为了实现在线实时故障检测,三个深度压缩技术(修剪,聚类和量化),以减少计算负担。我们广泛研究了7种不同的压缩技术组合,所有方法都达到了64%以上的高模型压缩率,同时保持了较高的故障检测精度。最好的结果是应用所有三种技术,将模型大小减少了91.5%,并保持了94%以上的高精度。这一结果导致生产环境中的存储需求更小,并使现实世界中的部署更加顺利。
2021-01-18 cs.LG
An Efficient Compression of Deep Neural Network Checkpoints Based on Prediction and Context Modeling
ITMO University(ITMO大学)
针对神经网络训练检查点的存储需求,提出结合预测上下文建模、剪枝与量化的高效压缩方法,实现大幅比特缩减与近乎无损的训练恢复,适配存储受限场景。
2025-06-13 cs.LG
Neural Embedding Compression For Efficient Multi-Task Earth Observation Modelling
IBM Research – Europe(IBM欧洲研究院)
针对地球观测数据传输存储成本高的问题,提出神经嵌入压缩方法,仅微调10%基础模型参数生成多任务压缩嵌入,在数据量大减的情况下仍保持优异的多任务建模性能。
2024-07-09 cs.LG
Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition
Michigan State University(密歇根州立大学);University of Michigan - Ann Arbor(密歇根大学安娜堡分校)
本文提出低秩诱导训练方法 LoRITa,通过线性层组合和奇异值截断实现结构保持的网络压缩,无需预训练初始化、预先指定秩或迭代计算 SVD,在多个模型和数据集上取得领先的 FLOPs 与参数压缩效果。
2024-10-17 cs.LG
Accelerate Support Vector Clustering via Spectrum-Preserving Data Compression
JD Logistics(京东物流)
本文提出一种保谱数据压缩框架,通过压缩数据保留聚类属性,实现支持向量聚类的大幅加速,在Pendigits和USPS上分别获得100倍和115倍加速且聚类质量更优。
2023-05-14 cs.AI cs.LG stat.ML
Physics-Preserving Latent Compression for Zero-Shot Resolution Transfer in 3D Turbulence
The University of Alabama(阿拉巴马大学);University of Pittsburgh(匹兹堡大学);University of Maryland, College Park(马里兰大学学院公园分校)
提出PPLC框架,利用惯性区尺度相似性,通过分块局部变分自编码器实现从低分辨率训练到高分辨率测试的零样本迁移,保持物理诊断量准确性。
2026-06-23 cs.LG physics.flu-dyn
Adaptive Iterative Compression for High-Resolution Files: an Approach Focused on Preserving Visual Quality in Cinematic Workflows
DIAGNEXT(迪亚格内斯特公司);COPPEAD Universidade Federal do Rio de Janeiro(里约热内卢联邦大学COPPEAD学院)
本研究提出一种用于高分辨率DPX衍生TIFF文件的迭代自适应压缩模型,通过SSIM和PSNR动态调整压缩参数,在保持高视觉保真度的同时实现高达83.4%的存储缩减,且优于JPEG2000和H.265。
2025-01-27 cs.CV cs.ET cs.LG
DataLens: Scalable Privacy Preserving Training via Gradient Compression and Aggregation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zürich(苏黎世联邦理工学院)
深度神经网络(DNN)最近的成功取决于大规模数据集的可用性;然而,在此类数据集上进行训练通常会对敏感的训练信息带来隐私风险。在本文中,我们的目标是探索生成模型和梯度稀疏的权力,并提出了一个可扩展的隐私保护生成模型DATALENS。与允许教师对一维预测进行投票的标准PATE隐私保护框架相比,对高维梯度向量进行投票在隐私保护方面具有挑战性。由于需要降维技术,我们需要在(1)隐私保护的改善和(2)SGD收敛的减缓之间进行微妙的权衡。为了解决这个问题,我们利用通信有效的学习,并提出了一种新的噪声压缩和聚合方法TOPAGG相结合的top-k压缩降维与相应的噪声注入机制。我们从理论上证明了DATALENS框架保证了其生成数据的差分隐私,并分析了其收敛性。为了证明DATALENS的实际使用,我们对包括MNIST,Fashion-MNIST和高维CelebA在内的各种数据集进行了广泛的实验,我们表明,DATALENS显着优于其他基线DP生成模型。此外,我们适应提出的TOPAGG方法,这是DATALENS中的关键构建模块之一,DP SGD训练,并表明它能够实现更高的效用比国家的最先进的DP SGD方法在大多数情况下。我们的代码可在https://github.com/AI-secure/DataLens上公开获取。
2022-03-28 cs.CR cs.LG
Ultra-Efficient Decoding for End-to-End Neural Compression and Reconstruction
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对神经压缩中卷积解码器计算成本高的瓶颈问题,提出融合低秩表示与矢量量化自编码器的压缩重建框架,通过低秩操作高效解码,在保证图像高保真的同时大幅降低计算开销。
2025-10-03 cs.CV cs.LG
Neural Normalized Compression Distance and the Disconnect Between Compression and Classification
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Booz Allen Hamilton(博兹艾伦汉密尔顿公司)
本文通过将大语言模型用作无损压缩器构建神经归一化压缩距离,发现分类准确率不能仅由压缩率预测,揭示了压缩与分类之间的理解脱节。
2024-10-20 cs.LG stat.ML
Block-optimized Variable Bit Rate Neural Image Compression
Nokia Technologies(诺基亚技术)
在这项工作中,我们提出了一个端到端的基于块的自动编码系统的图像压缩。我们介绍了基于神经网络的图像压缩的新贡献,主要是在实现二值化模拟,可变比特率与多个网络,熵友好的表示,推理阶段的代码优化和性能提高归一化层的自动编码器。我们评估并显示我们每一项贡献的增量性能提升。
2018-05-28 cs.LG stat.ML
Neural Network Distiller: A Python Package For DNN Compression Research
Intel AI Lab(英特尔人工智能实验室)
本文介绍了神经网络Distiller的原理、设计和功能集,这是一个用于DNN压缩研究的开源Python包。Distiller是一个DNN压缩算法实现库,包含用于各种学习任务的工具,教程和示例应用程序。它的目标用户是工程师和研究人员,丰富的内容通过可扩展性设计来补充,以促进新的研究。Distiller是开源的,可以在Github上找到,网址是https://github.com/NervanaSystems/distiller。
2019-10-27 cs.LG stat.ML
Neural network compression via learnable wavelet transforms
University of Bonn(波恩大学);Fraunhofer Center for Machine Learning and SCAI(弗劳恩霍夫机器学习与SCAI中心);National University of Singapore(新加坡国立大学)
小波变换在数据压缩方面是众所周知的,但很少应用于神经网络的压缩。本文展示了如何快速小波变换可以用来压缩线性层的神经网络。在递归神经网络(RNN)中,线性层仍然占据了很大一部分参数。通过我们的方法,我们可以学习小波基和相应的系数,以有效地表示RNN的线性层。我们的小波压缩RNN具有更少的参数,但在合成和真实世界的RNN基准测试中仍然具有最先进的竞争力。小波优化增加了基础的灵活性,没有大量的额外的权重。源代码可在https://github.com/v0lta/Wavelet-network-compression上获得。
2020-08-20 cs.LG stat.ML
Neural 3D Scene Compression via Model Compression
Stanford University(斯坦福大学)
渲染3D场景需要访问场景中的任意视点。这种3D场景的存储可以通过两种方式完成:(1)存储从3D场景拍摄的2D图像,其可以通过插值重建场景,或者(2)存储已经编码来自所有方向的视图的3D场景本身的表示。到目前为止,传统的3D压缩方法都集中在第一类存储上,并利用图像压缩技术对原始的2D图像进行压缩。使用这种方法,用户首先解码存储的2D图像,然后渲染3D场景。然而,这种分离的过程是低效的,因为必须存储大量的2D图像。在这项工作中,我们采取了不同的方法和压缩的功能表示的3D场景。特别是,我们介绍了一种方法来压缩三维场景压缩的神经网络表示的场景神经辐射场。我们的方法提供了更有效的3D场景存储,因为它不存储2D图像-当我们从神经功能表示渲染场景时,这是冗余的。
2021-05-07 cs.CV cs.LG
Shapley Pruning for Neural Network Compression
ETH Zürich(苏黎世联邦理工学院)
本研究将留一剪枝和oracle剪枝等概念发展为基于Shapley值的通用卷积神经网络压缩框架,提出Shapley值近似方法并在新基准Oracle rank上评估,实现了最先进的网络压缩表现。
2024-07-19 cs.CV cs.LG
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton(南安普顿大学);Fuzhou University(福州大学)
传统的图像压缩器,例如,BPG和H.266都实现了出色的图像和视频压缩质量。近年来,卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理,提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中,由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
Soft Weight-Sharing for Neural Network Compression
University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院(CIFAR))
深度学习在众多应用领域的成功创造了在移动设备上运行和训练它们的需求。然而,这与它们的计算、存储和能量密集的性质相冲突,导致对压缩的兴趣越来越大。Han等人(2015 a)的最新工作提出了一种管道,涉及神经网络权重的再训练,修剪和量化,获得最先进的压缩率。在本文中,我们表明,有竞争力的压缩率可以通过使用一个版本的软权重共享(Nowlan和Hinton,1992年)。我们的方法在一个简单的(重新)训练过程中实现了量化和修剪。这一观点还揭示了压缩与最小描述长度(MDL)原则之间的关系。
2017-05-09 cs.LG stat.ML
Computationally Efficient Neural Image Compression
Google Research(谷歌研究院)
利用神经网络的图像压缩已经达到或超过了非神经方法(如JPEG、WebP、BPG)。虽然这些网络在率失真性能方面是最先进的,但这些模型的计算可行性仍然是一个挑战。我们应用自动网络优化技术来降低神经图像压缩中常用架构的计算复杂度,分析解码器在执行时的复杂度,并探索率失真性能和运行时性能之间的权衡,以设计和研究计算效率更高的神经图像压缩。我们发现,我们的方法减少了超过50%的解码器运行时的要求,一个国家的最先进的神经架构。
2019-12-18 cs.LG eess.IV stat.ML
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University(南京大学)
联邦学习(FL)是近年来的研究热点,其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而,这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战,我们从理论上分析了通信压缩方法应满足的条件,以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发,我们提出了一种新的通信压缩方法,称为共识稀疏化(ConSpar)。据我们所知,ConSpar是第一种通信压缩方法,旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上,我们进一步提出了一个新的FL框架FedREP,它是拜占庭式的鲁棒性,通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明,FedREP可以显着优于通信效率的隐私保护基线。此外,与拜占庭强大的通信效率基线相比,FedREP可以实现相当的准确性,并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
Substitutional Neural Image Compression
Boston University(波士顿大学);Tencent America(腾讯美国)
我们描述了替代神经图像压缩(SNIC),这是一种用于增强任何神经图像压缩模型的通用方法,不需要数据或对训练模型进行额外的调整。它将压缩性能提升到灵活的失真度量,并使用单个模型实例实现比特率控制。其核心思想是用一个性能优于原始图像的替代图像替换待压缩图像。对于传统的编解码器来说,找到这样的替代品本来就很困难,但由于神经压缩模型的完全可微结构,它对神经压缩模型却出奇地有利。通过将特定损失的梯度反向传播到输入,可以迭代地有效地制作所需的替代品。我们证明了SNIC的有效性,结合各种神经压缩模型和目标指标,在提高压缩质量和执行率失真曲线测量的比特率控制。文中还对控制精度和发电速度的实验结果进行了讨论。
2021-05-16 cs.CV cs.LG eess.IV
Hierarchical Autoregressive Modeling for Neural Video Compression
UC Irvine(加州大学欧文分校);California Institute of Technology(加州理工学院)
本研究建立分层自回归生成模型与有损视频压缩的关联,将现有神经压缩方法归为广义随机时序自回归变换实例并提出改进方向,在大规模视频上实现了优于现有最优神经及传统方法的率失真性能。
2023-12-19 cs.LG eess.IV
Bit-serial Weight Pools: Compression and Arbitrary Precision Execution of Neural Networks on Resource Constrained Processors
University of California, Los Angeles(加州大学洛杉矶分校)
近年来,神经网络在边缘系统上的应用激增,但不断增加的模型大小使得神经网络无法有效地部署在资源受限的微控制器上。我们提出了位串行权重池,一个端到端的框架,包括网络压缩和任意子字节精度的加速。与8位网络相比,该框架可以通过在整个网络中共享权重池来实现高达8倍的压缩。我们进一步提出了一个基于位串行查找的软件实现,允许运行时位宽权衡,并能够实现超过2.8倍的加速比和7.5倍的存储压缩相比,8位权重池网络,精度下降不到1%。
2022-01-25 cs.LG cs.PF
Approximate Bisimulation Relations for Neural Networks and Application to Assured Neural Network Compression
Augusta University(奥古斯塔大学);Southwest Jiaotong University(西南交通大学)
本文提出了前馈神经网络的近似互模拟关系的概念。在近似互模拟关系的框架下,基于神经网络的可达性分析,提出了一种新的神经网络合并方法,用于计算两个神经网络之间的近似互模拟误差。所开发的方法能够定量测量两个神经网络的输出之间的距离具有相同的输入。然后,我们应用近似互模拟关系结果来执行神经网络模型降阶并计算压缩精度,即,确保神经网络压缩。最后,利用保证的神经网络压缩,加速了ACAS Xu神经网络的验证过程,验证了本文提出的近似互模拟方法的有效性和优越性。
2022-02-02 cs.AI cs.LG cs.SY
Taxonomy and Evaluation of Structured Compression of Convolutional Neural Networks
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司);Qualcomm Technologies, Inc.(高通技术公司)
深度神经网络在许多现实世界应用中的成功正在为构建更高效的架构带来新的挑战。使网络更有效的一种有效方法是神经网络压缩。我们提供了现有的神经网络压缩方法的概述,可以用来使神经网络更有效地改变网络的架构。首先,我们介绍了一种新的方法来分类所有已发布的压缩方法,根据数据量和计算量,使这些方法在实践中工作。这是三个“压缩解决方案”级别。其次,我们提供了基于张量分解和概率压缩方法的分类。最后,我们对在ImageNet上训练的模型的文献中的不同压缩技术进行了广泛评估。我们发现,SVD和概率压缩或修剪方法是互补的,并给出所有考虑的方法的最佳结果。我们还提供了将它们结合起来的实用方法。
2019-12-20 cs.CV cs.LG stat.ML
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University(奥古斯塔大学)
本文针对量化神经网络压缩,通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差,且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
Coreset-Based Neural Network Compression
Massachusetts Institute of Technology(麻省理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出了一种基于滤波器核集表示的卷积神经网络(CNN)压缩算法。我们利用CNN权重和神经元激活(跨样本)空间中存在的冗余来获得压缩。我们的方法不需要再训练,易于实现,并在各种各样的CNN架构中获得最先进的压缩性能。再加上量化和霍夫曼编码,我们创建的网络提供了类似AlexNet的准确性,其内存占用比原始AlexNet小$832\times$,同时还显著减少了推理时间。此外,这些压缩网络在微调时,也成功地推广到其他领域。
2018-07-25 cs.CV cs.LG
On Effects of Compression with Hyperdimensional Computing in Distributed Randomized Neural Networks
University of Rome “La Sapienza”(罗马“萨皮恩扎”大学);Luleå University of Technology(吕勒奥理工大学);Research Institutes of Sweden(瑞典研究院);University of California, Berkeley(加州大学伯克利分校)
在不久的将来,流行的监督学习技术将发生变化:从复杂的、计算量大的算法到更灵活的、基本的训练算法。随机算法的强大复兴可以在这种前景导向框架。最近,我们提出了一个模型的基础上随机神经网络和超维计算的分布式分类,它考虑到使用压缩代理之间的信息交换的成本。压缩的使用很重要,因为它解决了与通信瓶颈相关的问题,然而,原始方法在使用压缩的方式上是严格的。因此,在这项工作中,我们提出了一个更灵活的方法来压缩,并将其与传统的压缩算法,降维和量化技术进行比较。
2021-06-17 cs.LG eess.SP
MUSCO: Multi-Stage Compression of neural networks
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Innopolis University(Innopolis 大学)
低秩张量近似对于深度神经网络的压缩是非常有前途的。我们提出了一种新的简单而有效的迭代方法,它交替低秩因式分解与智能秩选择和微调。我们证明了我们的方法相比,非迭代的效率。我们的方法提高了压缩率,同时保持了各种任务的准确性。
2019-11-15 cs.CV cs.LG stat.ML
LCP-dropout: Compression-based Multiple Subword Segmentation for Neural Machine Translation
Kyushu Institute of Technology(九州工业大学)
在这项研究中,我们提出了一个简单而有效的预处理方法的基础上数据压缩算法的子词切分。基于压缩的子词切分作为神经机器翻译中训练数据的预处理方法,近年来引起了广泛关注。其中,BPE/BPE-dropout是与传统方法相比最快和最有效的方法之一。然而,基于压缩的方法具有的缺点在于,由于确定性而难以生成多个分割。为了克服这个困难,我们专注于概率字符串算法,称为本地一致性分析(LCP),已被应用到实现最佳压缩。采用LCP的概率机制,我们提出了多个子词切分,提高BPE/BPE-dropout的LCP-dropout,并表明它优于各种基线学习,特别是小训练数据。
2022-03-19 cs.CL cs.LG
Accelerated Volumetric Compression without Hierarchies: A Fourier Feature Based Implicit Neural Representation Approach
IT4Innovations, VSB – Technical University of Ostrava(IT4Innovations,奥斯特拉瓦技术大学)
提出一种结合傅里叶特征编码与选择性体素采样的无结构神经压缩方法,通过形态学膨胀动态选择体素,在保持高压缩率与质量的同时大幅减少训练时间。
2025-08-12 cs.CV cs.LG
Linearity-based neural network compression
University of Passau(巴伐利亚大学)
本文提出基于线性的神经网络压缩方法,利用类ReLU激活函数下常激活神经元的线性特性合并层,在多数模型中实现无损压缩至1/4,且与重要性剪枝兼容,为高效模型奠定基础。
2025-06-26 cs.AI cs.LG stat.ML
A Benchmark Study of Neural Network Compression Methods for Hyperspectral Image Classification
Department of Computer and Information Science, Temple University, Philadelphia, USA(计算机与信息科学系,特拉华大学,费城,美国)
本研究评估了三种神经网络压缩方法在高光谱图像分类中的性能,发现压缩技术能有效降低模型规模和计算成本,同时保持分类性能。
2026-03-05 cs.CV cs.LG
Parallel Neural Local Lossless Compression
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University College London(伦敦大学学院)
最近提出的神经局部无损压缩(NeLLoC),这是基于局部自回归模型,已达到国家的最先进的(SOTA)的分布外(OOD)的泛化性能在图像压缩任务。除了鼓励面向对象的推广,本地模型还允许在解码阶段进行并行推理。在本文中,我们提出了两个局部自回归模型的并行化方案。我们讨论了实施方案的实用性,并提供实验证据的压缩运行时的显着收益相比,以前的,非并行实现。
2022-06-26 cs.LG eess.IV stat.ML
Weightless: Lossy Weight Encoding For Deep Neural Network Compression
Harvard University(哈佛大学)
深度神经网络的大存储器需求限制了它们在许多设备上的部署和采用。模型压缩方法通常通过应用诸如权重修剪或量化之类的变换来有效地减少这些模型的存储器需求。在本文中,我们提出了一种新的方案,有损重量编码,补充传统的压缩技术。编码基于Bloomier滤波器,这是一种概率数据结构,可以以引入随机错误为代价来节省空间。利用神经网络容忍这些缺陷的能力,并通过围绕错误进行重新训练,所提出的技术Weightless可以在相同的模型精度下将DNN权重压缩高达496倍。这导致与最先进技术相比提高了1.51倍。
2017-11-13 cs.LG stat.ML
Implicit Neural Video Compression
Qualcomm AI Research(高通人工智能研究院)
我们提出了一种方法来压缩全分辨率视频序列与隐式神经表示。每个帧被表示为将坐标位置映射到像素值的神经网络。我们使用一个单独的隐式网络来调制坐标输入,这使得帧之间的有效运动补偿。与一个小的残差网络一起,这使我们能够相对于前一帧有效地压缩P帧。我们通过使用学习的整数量化存储网络权重来进一步降低比特率。我们的方法,我们称之为隐式像素流(IPF),在已建立的神经视频编解码器上提供了几个简化:它不需要接收器访问预训练的神经网络,不使用昂贵的基于插值的扭曲操作,并且不需要单独的训练数据集。我们证明了神经隐式压缩图像和视频数据的可行性。
2021-12-21 cs.CV cs.LG
TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);School of Software Technology, Zhejiang University(浙江大学软件学院);Alibaba Cloud(阿里云);Zhiyuan Research Institute(智源研究院)
针对推理LLM长思维链导致token使用量大、效率低的问题,提出TokenSqueeze方法,通过自适应匹配推理深度的样本选择和分布对齐语言优化,实现保持性能的token压缩,在MATH500上使模型token减少50%且准确性不变。
2025-11-17 cs.AI cs.LG
Quantum Implicit Neural Compression
Osaka University(大阪大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出量子隐式神经表示(quINR),利用量子神经网络的高表达力提升INR压缩效率,在图像压缩中相比传统编解码器和经典INR方法率失真性能最高提升1.2dB。
2024-12-19 cs.CV cs.LG eess.IV
Scalable Neural Network Compression and Pruning Using Hard Clustering and L1 Regularization
University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一个简单,易于实现的神经网络压缩算法,实现了更复杂的国家的最先进的方法的竞争力的结果。其关键思想是通过在网络参数上添加K个独立的高斯先验(对应于k-means目标)来修改原始优化问题,以实现参数量化,以及L1惩罚来实现修剪。与许多现有的基于量化的方法不同,我们的方法使用网络参数的硬聚类分配,这对标准网络训练增加了最小的变化或开销。我们还通过实验证明,捆绑神经网络参数比完全改变网络架构和连接模式在泛化性能方面提供的增益更少。
2018-06-14 cs.LG stat.ML
AlphaZip: Neural Network-Enhanced Lossless Text Compression
Indian Institute of Technology, Madras(印度马德拉斯理工学院)
本文提出一种基于LLM的无损文本压缩方法AlphaZip,通过transformer块预测并结合标准压缩算法处理预测排名,实验证明其性能优于传统信息论基线。
2024-09-23 cs.AI cs.IT cs.LG
Universal approximation and model compression for radial neural networks
Radboud University(拉德堡德大学);Northeastern University(东北大学)
我们介绍了一类完全连接的神经网络,其激活函数,而不是逐点的,重新缩放的功能,只依赖于他们的范数的特征向量。我们称这种网络为径向神经网络,扩展了以前的工作旋转等变网络,考虑重新调整激活的一般性。我们证明了径向神经网络的普遍逼近定理,包括在更困难的情况下,有界宽度和无界域。我们的证明技术是新颖的,不同于那些在逐点的情况下。此外,径向神经网络在可训练参数的向量空间上表现出丰富的正交基变换对称性。分解出这些对称性导致一个实用的无损模型压缩算法。通过梯度下降对压缩模型的优化等效于对完整模型的投影梯度下降。
2023-02-16 cs.LG math.RT
A Compression Objective and a Cycle Loss for Neural Image Compression
Nokia Technologies(诺基亚科技)
在本文中,我们提出了神经图像压缩的两个客观术语:压缩目标和周期损失。这些项应用于自动编码器的编码器输出,并与重建损失结合使用。压缩目标鼓励激活中的稀疏性和低熵。循环损失项表示从原始图像和从重构图像计算的编码器输出之间的失真(码域失真)。我们通过使用压缩目标结合不同的损耗来训练不同的自编码器:a)MSE,b)MSE和MSSSIM,c)MSE、MS-SSIM和循环损耗。我们观察到,由这些不同训练的自动编码器编码的图像落入感知失真曲线的不同点(同时具有相似的比特率)。特别地,仅MSE训练有利于低图像域失真,而周期丢失训练有利于高感知质量。
2019-05-24 cs.LG eess.IV stat.ML
Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks
School of Engineering Mathematics and Technology, University of Bristol, England(工程数学与技术学院,布里斯托大学,英格兰)
本文提出Spiking Brain Compression(SBC)框架,通过一次性后训练压缩提升脉冲神经网络的效率,实现比传统ANN基线更高的准确率。
2026-01-28 cs.LG cs.NE