ButterflyViT: 354$\times$ Expert Compression for Edge Vision Transformers
Indian Institute of Information Technology, Nagpur(印度纳格浦信息科技学院)
ButterflyViT通过几何参数化实现354倍内存压缩,使边缘设备上高效运行视觉变换器。
2026-03-06 cs.AI cs.CV
MELODI: Exploring Memory Compression for Long Contexts
Google DeepMind(谷歌DeepMind)
本研究提出新型内存架构MELODI,通过跨层与跨窗口的分层压缩方案实现长文档高效处理,相比Memorizing Transformer基线性能更优且内存占用降至1/8。
2024-10-04 cs.AI cs.LG
Auxiliary-predicted Compress Memory Model(ApCM Model): A Neural Memory Storage Model Based on Invertible Compression and Learnable Prediction
本文提出ApCM模型,通过可逆压缩和可学习预测解决大语言模型运行时内存机制不足的问题,提升动态个性化交互能力。
2026-04-05 cs.LG
EAST: Encoding-Aware Sparse Training for Deep Memory Compression of ConvNets
Politecnico di Torino(都灵理工大学)
在具有有限非易失性存储器空间的微小端节点上实现深度卷积神经网络(ConvNets)需要能够缩小占用空间但保持预测准确性的智能压缩策略。存在用于此目的的许多策略,从那些利用模型的拓扑或算术精度的策略(例如,修剪和量化)到那些操作模型不可知压缩的策略(例如,权重编码)。内存约束越严格,这些技术单独无法满足要求的可能性就越高,因此必须在不同优化之间进行更多的感知和合作。这项工作通过引入EAST(编码感知稀疏训练)来解决这个问题,EAST是一种新型的内存约束训练过程,可以引导量化的ConvNets进行深度内存压缩。EAST实现了一种自适应组修剪,旨在最大限度地提高权重编码方案(本工作中的LZ 4算法)的压缩率。如果与现有的方法相比,EAST满足较低的稀疏性的内存约束,从而确保更高的精度。在部署在低功耗微控制器(ARM Cortex-M4)上的最先进的ConvNet(ResNet-9)上进行的结果验证了该提议。
2019-12-20 cs.CV cs.LG stat.ML
Goal-Directed Search Outperforms Goal-Agnostic Memory Compression in Long-Context Memory Tasks
Astera Institute(Astera研究所)
SUMER通过目标导向搜索在长上下文记忆任务中超越传统记忆压缩方法,达到SOTA性能。
2025-11-20 cs.AI cs.CL cs.LG
BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对可变内存下 LLM 部署难题,本文提出无需训练的 BitStack 权重分解压缩方法,支持兆字节级动态尺寸调整,并在多任务上达到或超过量化基线。
2025-02-17 cs.AI cs.CL cs.CV
Clustering-driven Memory Compression for On-device Large Language Models
University of Oxford(牛津大学)
本文提出一种基于聚类的记忆压缩方法,通过分组和合并相似记忆以提升设备端大语言模型的上下文效率和生成质量。
2026-01-24 cs.AI cs.CL cs.LG
A Survey on GAN Acceleration Using Memory Compression Technique
Cairo University(开罗大学)
自其发明以来,生成对抗网络(GANs)在许多应用中表现出出色的效果。生成对抗网络是一种强大但资源匮乏的深度学习模型。它们与普通深度学习模型的主要区别在于其输出的性质。例如,GAN输出可以是整个图像,而其他模型检测对象或对图像进行分类。因此,网络的结构和数值精度影响解决方案的质量和速度。因此,加速GANs至关重要。加速GANs可以分为三个主要方面:(1)内存压缩,(2)计算优化和(3)数据流优化。由于数据传输是能源使用的主要来源,因此内存压缩可以节省最多的能源。因此,在本文中,我们调查了基于CNN的GANs的内存压缩技术。最后总结了GANs加速的机遇和挑战,并提出了有待进一步研究的问题。
2021-08-14 cs.CV cs.LG cs.NE
Learning to Summarize Long Texts with Memory Compression and Transfer
Element AI(元素人工智能公司);Mila(米拉人工智能研究所);Polytechnique Montreal(蒙特利尔理工学院);University of Montreal(蒙特利尔大学)
我们介绍Mem 2 Mem,一个内存到内存的分层递归神经网络的编码器/解码器架构的机制,我们探讨它的使用抽象的文档摘要。Mem 2 Mem通过可读/可写的外部存储器模块传输“记忆”,这些模块增强了编码器和解码器。我们的记忆正则化将编码的输入文章压缩成更紧凑的句子表示集。最重要的是,内存压缩步骤执行隐式提取没有标签,回避问题与次优的地面实况数据和暴露偏见的混合提取抽象摘要技术。通过允许解码器读取/写入编码的输入存储器,模型学习读取关于输入文章的显著信息,同时跟踪已经生成的内容。我们的Mem 2 Mem方法产生的结果与最先进的基于Transformer的摘要方法相比具有竞争力,但参数少16倍
2020-10-21 cs.CL cs.LG
SWAN: Sparse Winnowed Attention for Reduced Inference Memory via Decompression-Free KV-Cache Compression
Centre for Responsible AI(负责任人工智能中心);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Department of Electrical Engineering(电气工程系);Wadhwani School of Data Science and Artificial Intelligence(Wadhwani数据科学与人工智能学院)
SWAN通过无解压缩的KV缓存压缩技术,实现减少推理内存占用的同时保持高性能,提供灵活的压缩级别调整能力。
2025-11-24 cs.AI cs.CL cs.LG
PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
PRAC通过分解激活为主成分和随机子空间,实现LLM激活压缩和内存高效训练,达到36%的内存减少且性能损失小。
2026-02-26 cs.LG
Memory Replay with Data Compression for Continual Learning
Tsinghua University(清华大学);Tsinghua-Peking Center for Life Sciences(清华-北大生命科学联合中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Renmin University of China(中国人民大学)
持续学习需要克服对过去的灾难性遗忘。具有代表性的旧训练样本的记忆重放已被证明是一种有效的解决方案,并达到了最先进的(SOTA)性能。然而,现有的工作主要是建立在一个小的内存缓冲区包含一些原始数据,这不能完全表征旧数据的分布。在这项工作中,我们提出了内存重放与数据压缩(MRDC),以减少旧的训练样本的存储成本,从而增加它们的量,可以存储在内存缓冲区。观察到压缩数据的质量和数量之间的权衡是非常重要的内存重放的功效,我们提出了一种新的方法,基于决定点过程(DPP),以有效地确定一个适当的压缩质量为当前到达的训练样本。以这种方式,使用具有适当选择的质量的朴素数据压缩算法可以通过在有限的存储空间中保存更多的压缩数据来大大提高最近的强基线。我们在类增量学习的几个基准测试和自动驾驶的目标检测的实际场景中广泛验证了这一点。
2022-03-09 cs.LG
AdaMem: Adaptive Memory Token Allocation for Soft Compression in Retrieval-Augmented Generation
AdaMem提出相关性引导的软压缩框架,按查询相关性动态分配记忆令牌预算,在开放域QA基准上优于均匀分配基线,显著提升压缩效率与答案质量。
2026-09-22 cs.CL cs.IR cs.LG
Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
Nanjing University(南京大学);Southeast University(东南大学)
针对参数高效微调中激活内存开销过大的问题,本文提出 LoRAct,利用激活低秩性进行无校准数据的在线正交分解压缩,在视觉和语言任务上较 LoRA 减少约80%激活内存并保持性能。
2025-09-27 cs.AI cs.LG
Contractive error feedback for gradient compression
Amazon Web Services(亚马逊云科技);Rice University(莱斯大学);University of Minnesota(明尼苏达大学)
针对分布式深度学习端侧内存紧张问题,提出通信高效的压缩误差反馈方法ConEF,在多任务上实现高内存节省、性能无损及训练加速,并验证了其集成至主流内存高效框架的可行性。
2023-12-13 cs.AI cs.LG
Time and Memory Trade-off of KV-Cache Compression in Tensor Transformer Decoding
The University of Chicago(芝加哥大学);Stevens Institute of Technology(史蒂文斯理工学院);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing at UC Berkeley(加州大学伯克利分校西蒙斯理论计算研究所)
本研究将KV缓存空间复杂度下界推广至张量注意力,引入两种缓存类型,揭示时间与内存权衡,为高效张量Transformer提供理论基础。
2025-03-27 cs.AI cs.CC cs.CL
Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory
Qualcomm Technologies, Inc.(高通技术公司)
在大规模或资源受限的环境中(例如数据中心和移动设备)部署神经网络的显著计算成本已经刺激了对模型压缩的兴趣,其可以实现算术运算和存储内存的减少。已经提出了几种技术来减少或压缩前馈和卷积神经网络的参数,但很少有人了解参数压缩对循环神经网络(RNN)的影响。特别是,在何种程度上可以压缩的经常性参数和短期记忆性能的影响,是不是很好地理解。在本文中,我们研究了复杂性降低的效果,通过奇异值分解秩降低,对RNN和最小门控递归单元(MGRU)网络的几个任务。我们表明,相当大的秩减少是可能的压缩经常性的权重,即使没有微调。此外,我们提出了一个扰动模型的一般扰动,如压缩,对递归参数的影响。该模型进行了测试,对一个无声的记忆实验,阐明了短期记忆的表现。通过这种方式,我们证明了经常性参数的压缩效果取决于数据和任务中存在的时间相干性的程度。这项工作可以指导新环境或任务的实时RNN压缩,并为在低功耗设备(如助听器)中应用RNN压缩提供见解。
2017-02-24 cs.CV cs.LG cs.NE
MetaKV: Adaptive KV Cache Compression for Constrained LLM Inference
Lake Washington School District(华盛顿湖学区);XSchool;UMass Amherst(马萨诸塞大学阿默斯特分校)
MetaKV提出自适应KV缓存压缩框架,根据用户指定的延迟和内存预算为每个提示词选择最优配置,在多种约束下显著提升受限成功率。
2026-09-09 cs.LG
Memory- and Communication-Aware Model Compression for Distributed Deep Learning Inference on IoT
Carnegie Mellon University(卡内基梅隆大学)
模型压缩已成为在物联网(IoT)上部署深度学习模型的重要研究领域。然而,对于内存极度受限的场景,即使是压缩的模型也无法容纳在单个设备的内存中,因此必须分布在多个设备上。这导致了一个分布式推理范例,其中内存和通信成本是一个主要的瓶颈。然而,现有的模型压缩技术不是通信感知的。因此,我们提出了神经网络(NoNN),这是一种新的分布式物联网学习范式,它将大型预训练的“教师”深度网络压缩成几个不相交和高度压缩的“学生”模块,而不会损失准确性。此外,我们提出了一个网络科学为基础的知识划分算法的教师模型,然后训练个别学生产生的不相交的分区。针对用户定义的内存/性能预算,在五个图像分类数据集上进行了广泛的实验,结果表明,NoNN的准确率高于几个基线,与教师模型的准确率相似,同时学生之间的沟通最少。最后,作为一个案例研究,我们在边缘设备上部署了CIFAR-10数据集的拟议模型,并证明了与大型教师模型相比,内存占用(高达24倍),性能(高达12倍)和每个节点的能量(高达14倍)的显着改进。我们进一步表明,对于多个边缘设备上的分布式推理,我们提出的NoNN模型导致总延迟w.r.t.减少高达33倍。最先进的模型压缩基线
2019-07-26 cs.CV cs.DC cs.LG
MemRefine: LLM-Guided Compression for Long-Term Agent Memory
Korea University(韩国大学);KAIST(韩国科学技术院)
提出MemRefine框架,利用LLM判断事实内容,通过删除、合并和保留操作将记忆库压缩到固定预算内,在多个基准上保持下游性能并优于基于规则的基线。
2026-06-12 cs.AI cs.CL cs.LG
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
Huawei Technologies(华为技术有限公司);University of Waterloo(滑铁卢大学)
该研究提出克罗内克积注意力(KPA),通过结构化分解压缩KV缓存,性能优于或匹配现有注意力方法,可实现最高10倍KV缓存压缩,且无需额外位置编码机制。
2026-10-12 cs.AI cs.LG
BitTrain: Sparse Bitmap Compression for Memory-Efficient Training on the Edge
Brown University(布朗大学)
边缘训练使神经网络能够在内存受限的边缘设备上部署后从新数据中持续学习。以前的工作主要是减少模型参数的数量,这只有利于推理。然而,激活的内存占用是边缘训练的主要瓶颈。现有的增量训练方法对最后几层进行微调,牺牲了重新训练整个模型的准确性。在这项工作中,我们研究了训练深度学习模型的内存足迹,并使用我们的观察结果提出了BitTrain。在BitTrain中,我们利用激活稀疏性,并提出了一种新的位图压缩技术,可以减少训练过程中的内存占用。我们在训练的前向传递过程中以我们提出的位图压缩格式保存激活,并在优化器计算的后向传递过程中恢复它们。所提出的方法可以无缝集成到现代深度学习框架的计算图中。我们的实现在构造上是安全的,并且对模型训练的准确性没有负面影响。实验结果表明,在稀疏度为50%时,内存占用减少了34%。在训练过程中进一步修剪导致超过70%的稀疏性,这可以导致内存占用减少高达56%。BitTrain推进了为边缘设备带来更多机器学习功能的努力。我们的源代码可以在https://github.com/scale-lab/BitTrain上找到。
2021-10-29 cs.DC cs.LG
Green DetNet: Computation and Memory efficient DetNet using Smart Compression and Training
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);CY Université(CY塞尔吉巴黎大学);ENSEA(ENSEA工程师学院);CNRS(法国国家科学研究中心)
本文介绍了一种增量训练框架,用于压缩流行的基于深度神经网络(DNN)的展开多输入多输出(MIMO)检测算法,如DetNet。探索增量训练的思想,以选择最佳的深度,而训练。为了减少计算要求或浮点运算(FLOPs)的数量,并加强稀疏的权重,结构化正则化的概念,探索使用组LASSO和稀疏组LASSO。我们的方法导致了惊人的$98.9\%$减少内存需求和$81.63\%$减少FLOPs相比,DetNet不影响BER性能。
2021-04-16 cs.IT cs.LG eess.SP
MFAGAN: A Compression Framework for Memory-Efficient On-Device Super-Resolution GAN
City University of Hong Kong(香港城市大学);Donghua University(东华大学);Tencent Computer System Co., Ltd.(腾讯计算机系统有限公司);The University of Sydney(悉尼大学)
生成对抗网络(GANs)通过恢复照片级逼真的图像,促进了单图像超分辨率(SR)的显着进步。然而,基于GAN的SR(通常是发电机)的高内存消耗导致性能下降和更多的能量消耗,阻碍了基于GAN的SR部署到资源受限的移动设备。本文提出了一种新的压缩框架\textbf{M}--基于\textbf{GAN}的多尺度\textbf{F}特征\textbf{A}聚集网(MFAGAN),以减少生成器的存储器访问开销。首先,为了克服密集连接的内存爆炸,我们利用内存高效的多尺度特征聚合网络作为生成器。其次,为了更快更稳定的训练,我们的方法引入了PatchGAN训练器。第三,为了平衡student函数和压缩生成器,我们同时提取生成器和函数。最后,我们执行硬件感知神经架构搜索(NAS),为目标手机找到一个专门的SubGenerator。受益于这些改进,建议MFAGAN实现高达\textbf{8.3} $\times$内存节省和\textbf{42.9} $\times$计算减少,只有轻微的视觉质量下降,与ESRGAN相比。实证研究还显示,$\sim$ \textbf{70}在高通骁龙865芯片组上的延迟为毫秒级。
2021-07-27 cs.AR cs.LG
Deep Compression for PyTorch Model Deployment on Microcontrollers
Ozyegin University(奥兹耶金大学);Stanford University(斯坦福大学)
神经网络部署在低成本嵌入式系统,因此在微控制器(MCU),最近吸引了比以往更多的关注。由于MCU的内存容量和计算速度有限,因此采用模型压缩至关重要,它可以降低对内存和计算速度的要求。在本文中,我们添加了模型压缩,特别是深度压缩,并进一步优化了Unlu在arXiv上的早期工作,该工作可以有效地在MCU上部署PyTorch模型。首先,我们修剪卷积层和全连接层中的权重。其次,将剩余的权重和激活从32位浮点数量化为8位整数。最后,使用稀疏矩阵的特殊数据结构来压缩前向传递函数,该结构仅存储非零权重(不影响性能和准确性)。在LeNet-5模型中,内存占用减少了12.45倍,推理速度提高了2.57倍。
2021-03-29 cs.LG
InfiniPot-V: Memory-Constrained KV Cache Compression for Streaming Video Understanding
Hanyang University(汉阳大学);Sungkyunkwan University(成均馆大学);Qualcomm AI Research, Qualcomm Korea YH(高通人工智能研究院,高通韩国YH)
InfiniPot-V提出免训练、查询无关的KV缓存压缩框架,通过TaR度量和VaN排序实现硬性内存上限,在流式视频理解中削减峰值GPU内存达94%并保持精度。
2025-10-24 cs.LG eess.IV
Invertible Memory Flow Networks
VECTOR Labs(VECTOR实验室)
IMFN通过分解长序列压缩问题为成对合并,利用二叉树结构的清扫器模块实现O(log N)深度的高效压缩,适用于长序列数据的处理。
2026-01-31 cs.LG
Memory compression and thermal efficiency of quantum implementations of non-deterministic hidden Markov models
Imperial College London(伦敦帝国学院)
随机建模是定量科学的一个重要组成部分,隐马尔可夫模型(HMRM)通常起着核心作用。与此同时,量子技术的兴起在计算问题上带来了许多优势,通常是在时间和内存等必要资源的扩展方面。Hysteresis也不例外,最近的结果突出了确定性Hysteresis的量子实现,相对于经典的Hysteresis表现出更好的存储和热效率。然而,在许多情况下,非确定性的阻碍是可行的替代方案;与它们相比,当前量子实现的优势并不总是保持不变。在这里,我们提供了一个系统的处方,构建量子实现的非确定性的阻碍,重新建立量子优势对这个更广泛的类。至关重要的是,我们表明,无论何时经典实现由于需要以时间本地方式处理信息而遭受热耗散,我们的量子实现都将减轻一些这种耗散,并在内存压缩方面取得优势。
2021-06-21 cond-mat.stat-mech cs.IT cs.LG
Neural Network Compression for Noisy Storage Devices
Stanford University(斯坦福大学);Meta Reality Labs Research(Meta现实实验室)
神经网络(NN)参数的压缩和有效存储对于在资源受限设备上运行的应用程序至关重要。尽管在NN模型压缩方面取得了重大进展,但在NN参数的实际\textit{physical}存储方面的研究却少得多。传统上,模型压缩和物理存储是解耦的,因为具有纠错码(ECC)的数字存储介质提供鲁棒的无错误存储。然而,这种解耦的方法是低效的,因为它忽略了大多数NN中存在的过参数化,并迫使存储器设备向每个信息位分配相同数量的资源,而不管其重要性如何。在这项工作中,我们调查模拟存储设备作为数字媒体的替代品-一个自然提供了一种方法来增加更多的保护重要位不同于它的对应物,但嘈杂,如果天真地使用,可能会损害存储模型的性能。我们开发了各种强大的编码策略NN的权重存储在模拟设备上,并提出了一种方法来联合优化模型压缩和内存资源分配。然后,我们展示了我们的方法在MNIST,CIFAR-10和ImageNet数据集上训练的模型上对现有压缩技术的有效性。与传统的无错误数字存储相比,我们的方法减少了一个数量级的内存占用,而不会显着损害存储模型的准确性。
2023-03-14 cs.LG
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
Johns Hopkins University(约翰斯·霍普金斯大学);George Mason University(乔治梅森大学)
本研究提出感知对称性的值缓存合并策略,可在不损害性能和增加架构开销的前提下压缩LLM的值缓存,还能与其他压缩技术结合实现更高压缩比,为内存受限场景下扩展LLM上下文窗口提供了有效方案。
2026-10-09 cs.CL cs.LG
HCAttention: Extreme KV Cache Compression via Heterogeneous Attention Computing for LLMs
Intellifusion Inc.(智融科技公司)
针对长上下文 LLM 推理中 KV 缓存内存瓶颈,提出融合键量化、值卸载与动态逐出的异构注意力框架 HCAttention,无需微调即可在极低缓存下保持精度并支持超长上下文。
2025-07-26 cs.AI cs.CL cs.LG
Huff-LLM: End-to-End Lossless Compression for Efficient LLM Inference
New York University(纽约大学);University of Notre Dame(圣母大学)
针对大型语言模型在边缘设备上部署困难且有损压缩会不可预测地改变模型行为的问题,提出端到端无损压缩方法Huff-LLM,通过在各层存储中压缩权重,实现内存节省并提升推理延迟与能效。
2025-02-02 cs.AR cs.LG
Gram-Space: Structure-Preserving Codebook Compression for Memory-Efficient Neuro-Symbolic AI
University of California Riverside(加州大学河滨分校)
本文提出Gram-Space压缩框架,通过格拉姆-施密特正交化保留VSA所需点积结构,可降低神经符号AI模型GPU内存使用与推理延迟,提升硬件利用率。
2026-08-04 cs.LG
PrimeSVT: An Automated Memory-aware Pruning Framework with Prioritized Compression Policy for Spiking Vision Transformers
eBRAIN Lab, Division of Engineering, New York University (NYU) Abu Dhabi(eBRAIN实验室,工程系,纽约大学(NYU)阿布扎克分校);New York University (NYU) Abu Dhabi, United Arab Emirates (UAE)(纽约大学(NYU)阿布扎克分校,阿拉伯联合酋长国(UAE))
提出PrimeSVT框架,通过自动化结构化剪枝和优先压缩策略,在满足精度和内存约束下压缩脉冲视觉Transformer,实现内存节省26.68%且精度损失小于3%。
2026-06-02 cs.AI cs.LG cs.NE
An autoencoder compression approach for accelerating large-scale inverse problems
Oden Institute for Computational Science and Engineering(奥登计算科学与工程研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Utah(犹他大学)
本文提出一种基于自编码器的可扩展压缩方法,用于替代PDE约束反问题中的检查点和大内存存储,在地震反问题上验证了梯度和Hessian-向量积的接近理想加速,并成功扩展DIAS方法至大规模问题。
2023-04-10 cs.LG cs.NA math.NA
Reducing the GPU Memory Bottleneck with Lossless Compression for ML -- Extended
University of Washington(华盛顿大学)
提出无损压缩算法IBP,通过识别和消除张量组中的不变位,利用GPU优化的解压缩和异步PCIe传输,显著减少数据传输时间,加速GNN训练、DLRM嵌入查找和LLM推理。
2026-05-29 cs.DC cs.LG
LoMA: Lossless Compressed Memory Attention
Deepglint Inc.(深格灵公司);Peking University(北京大学)
LoMA通过训练与生成算法实现KV缓存无损压缩,在单次推理中降低长上下文LLM的内存与计算开销。
2024-02-04 cs.CL cs.LG
Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression
University of Washington(华盛顿大学);National University of Singapore(新加坡国立大学)
针对视觉自回归模型推理中KV缓存指数增长的内存瓶颈,提出ScaleKV框架,通过区分起草者与精炼者层并实施尺度感知差异化缓存管理,在Infinity模型上将KV缓存内存降至10%且保持像素级保真度。
2025-05-26 cs.LG
ZipServ: Fast and Memory-Efficient LLM Inference with Hardware-Aware Lossless Compression
The Hong Kong University of Science(香港科学与技术大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
ZipServ通过硬件感知的无损压缩技术,提升LLM推理效率,减少内存占用,实现比cuBLAS快2.21倍的内核速度和1.22倍的端到端推理加速。
2026-03-18 cs.AR cs.DC cs.LG
GPU-Accelerated INT8 Quantization for KV Cache Compression in Large Language Models
Maanas Taneja, Purab Shingvi(独立研究者)
本研究通过GPU加速的INT8量化技术,实现了大型语言模型中KV缓存压缩,达到4倍内存减少,同时保持高精度和低计算开销。
2026-01-08 cs.LG cs.PF
LightThinker++: From Reasoning Compression to Memory Management
Zhejiang University(浙江大学)
本文提出LightThinker++,通过引入显式自适应内存管理,有效压缩LLM推理过程中的中间思维,减少内存占用并提升推理效率,尤其在长周期智能任务中表现突出。
2026-04-04 cs.AI cs.CL cs.IR
Cascaded Projection: End-to-End Network Compression and Acceleration
Rochester Institute of Technology(罗切斯特理工学院)
我们提出了一种用于深度卷积神经网络压缩的数据驱动方法,该方法实现了高精度、高吞吐量和低内存要求。当前的网络压缩方法要么找到需要更多内存的特征的低秩因子分解,要么通过修剪整个过滤器通道仅选择特征的子集。我们提出了级联投影(CaP)压缩方法,该方法基于低秩投影将连续层的输出和输入滤波器通道投影到统一的低维空间。我们优化了投影,以最大限度地减少分类损失和压缩和未压缩网络中下一层特征之间的差异。为了解决这个非凸优化问题,我们提出了一种新的优化方法的代理矩阵使用反向传播和随机梯度下降(SGD)的几何约束。我们的级联投影方法导致网络压缩的所有关键领域的改进:高精度,低内存消耗,低参数计数和高处理速度。所提出的CaP方法展示了压缩VGG16和ResNet网络的最新结果,计算量减少了4倍以上,并且在微调之前和之后的ImageNet数据集上的前5名准确度方面表现出色。
2019-03-12 cs.CV cs.LG
Memory Bank Compression for Continual Adaptation of Large Language Models
University of Thessaly(塞萨洛尼基大学)
MBC通过代码本优化策略和键值低秩适应,实现大型语言模型持续适应中的记忆库压缩,有效减少内存占用并保持高准确性。
2026-01-02 cs.CL cs.LG
Activation Map Compression through Tensor Decomposition for Deep Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎综合理工学院)
针对嵌入式设备上反向传播内存占用高的挑战,提出基于SVD和高阶SVD张量分解的激活图压缩方法,在保留学习特征和理论收敛性的同时实现内存节省,并在泛化与内存权衡上表现优越。
2024-11-10 cs.CV cs.LG
Adacc: An Adaptive Framework Unifying Compression and Activation Recomputation for LLM Training
The State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院);Shanghai Jiao Tong University(上海交通大学);Huawei Cloud(华为云);Zhejiang Lab(浙江实验室)
Adacc是首个统一激活重计算与数据压缩的自适应内存优化框架,通过张量级动态决策、逐层压缩和MILP调度,在保持模型精度的同时,将LLM训练吞吐量提升1.01至1.37倍。
2025-08-08 cs.DC cs.LG
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University(国立台湾大学)
卷积神经网络(CNN)在广泛的领域中取得了卓越的性能。然而,激活的密集存储器访问引入了相当大的能量消耗,阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性,从而实现降维。然而,在激进的降维的情况下,这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡,我们提出了一个压缩感知投影系统,它采用了可学习的投影来补偿重建损失。此外,贪婪的选择度量被引入到优化逐层压缩比分配,同时考虑精度和#比特减少。测试结果表明,在MobileNetV 2/ResNet 18/VGG 16上,本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问,而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP