Toward Storage-Aware Learning with Compressed Data An Empirical Exploratory Study on JPEG
School of Integrated Technology, Yonsei University, Seoul, Korea(燕子大学整合技术学院);BK21 Graduate Program in Intelligent Semiconductor Technology, Yonsei University, Seoul, Korea(燕子大学智能半导体技术研究生项目);Department of Mobile Systems Engineering, Dankook University, Yongin, Korea(Dankook大学移动系统工程系)
本文通过实证研究探讨了压缩数据在存储感知学习中的应用,揭示了样本对压缩的敏感性差异,并提出了样本级自适应压缩策略。
2025-12-23 cs.AI cs.LG
ExCP: Extreme LLM Checkpoint Compression via Weight-Momentum Joint Shrinking
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Science and Technology of China(中国科学技术大学)
针对 LLM 训练检查点存储开销问题,提出 ExCP 框架,通过相邻残差、权重-动量联合收缩和非均匀量化实现近无损极致压缩。
2024-06-17 cs.LG
ULPack: Reference-Conditioned Lossless Compression of Checkpoint Trajectories
University of Waterloo(滑铁卢大学)
ULPack是一种基于参考条件的无损编解码器,利用参考权重指数预测位移位长度,在三类浮点轨迹上相比ZipNN、zstd-19、FM-Delta实现了显著的存储压缩提升。
2026-10-14 cs.LG
Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding
Department of Computer Science University of Tübingen(计算机科学系图宾根大学)
提出一种结合率感知量化与熵编码的训练后压缩框架,通过二次率估计和OBS局部精确解,在保持性能的同时降低20-40%比特率,兼容任意量化网格。
2025-05-24 cs.LG
AdaDeep: A Usage-Driven, Automated Deep Model Compression Framework for Enabling Ubiquitous Intelligent Mobiles
Xidian University(西安电子科技大学);Singapore Management University(新加坡管理大学);Rice University(莱斯大学)
深度神经网络(DNN)最近的突破推动了将DNN驱动的智能引入移动平台的巨大增长需求。虽然DNN压缩技术已经证明了在资源受限的平台上部署DNN的潜力,但是当前的实践受到两个限制:1)仅研究独立的压缩方案,即使每种压缩技术仅适用于某些类型的DNN层;以及2)大多数压缩技术针对DNN的推理精度进行了优化,而不明确考虑其它应用驱动的系统性能(例如,等待时间和能量成本)以及跨平台的变化的资源可用性(例如,存储和处理能力)。为此,我们提出了AdaDeep,这是一个使用驱动的自动化DNN压缩框架,用于从整体系统层面系统地探索性能和资源约束之间的理想权衡。具体来说,AdaDeep以逐层的方式自动为给定的DNN选择最合适的压缩技术组合和相应的压缩超参数。对六个数据集和十二个设备的全面评估表明,AdaDeep可以实现高达$18.6\times$延迟减少,$9.8\times$能效提高,以及DNN中$37.3\times$存储减少,而精度损失可以忽略不计。此外,AdaDeep还揭示了多种压缩技术的新颖组合。
2020-06-08 cs.LG
Pool-based Active Learning as Noisy Lossy Compression: Characterizing Label Complexity via Finite Blocklength Analysis
Waseda University(早稻田大学)
本文通过信息论框架将基于池的主动学习视为噪声性有损压缩问题,推导出标签复杂性和泛化误差的理论下界,为该领域提供了新的理论视角。
2026-02-05 cs.IT cs.LG math.IT
Neural 3D Scene Compression via Model Compression
Stanford University(斯坦福大学)
渲染3D场景需要访问场景中的任意视点。这种3D场景的存储可以通过两种方式完成:(1)存储从3D场景拍摄的2D图像,其可以通过插值重建场景,或者(2)存储已经编码来自所有方向的视图的3D场景本身的表示。到目前为止,传统的3D压缩方法都集中在第一类存储上,并利用图像压缩技术对原始的2D图像进行压缩。使用这种方法,用户首先解码存储的2D图像,然后渲染3D场景。然而,这种分离的过程是低效的,因为必须存储大量的2D图像。在这项工作中,我们采取了不同的方法和压缩的功能表示的3D场景。特别是,我们介绍了一种方法来压缩三维场景压缩的神经网络表示的场景神经辐射场。我们的方法提供了更有效的3D场景存储,因为它不存储2D图像-当我们从神经功能表示渲染场景时,这是冗余的。
2021-05-07 cs.CV cs.LG
Edge Storage Management Recipe with Zero-Shot Data Compression for Road Anomaly Detection
SK Planet Co., Ltd.(SK Planet有限公司)
针对边缘道路异常检测系统的高保真音频长期存储需求,提出基于预训练自编码器的零样本压缩方法,兼顾存储传输效率与检测性能。
2023-08-26 cs.LG cs.SD eess.AS
Lossless Compression for LLM Tensor Incremental Snapshots
IBM Research, Almaden Research Center(IBM研究院,阿姆德恩研究中心)
本文分析 LLM 训练检查点张量的可压缩性,提出基于 byte-grouping 与 Huffman 编码的 LMC,在压缩率优于 BZ2 的同时显著提速。
2025-05-14 cs.LG
Carefully Structured Compression: Efficiently Managing StarCraft II Data
Monash University(莫纳什大学);University of Melbourne(墨尔本大学)
针对StarCraft II复杂数据集的创建与存储成本问题,提出开源序列化框架以降低成本并改善体验,训练的模型性能超越同类基线。
2024-10-11 cs.LG
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG(Xayn公司)
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源,并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术,可以减少这种模型的资源需求,其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗,我们提出了两个扩展的流行的存储器变压器蒸馏过程:生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型,其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Georgia Institute of Technology(佐治亚理工学院);Case Western Reserve University(凯斯西储大学)
EntroLLM结合混合量化和熵编码技术,通过提升权重压缩率和编码效率,在边缘设备上实现高效的大语言模型推理,实验显示存储节省达30%-65%,推理速度提升31.9%-146.6%。
2026-01-26 cs.LG
Implicit Neural Multiple Description for DNA-based data storage
CNRS(法国国家科学研究中心);I3S laboratory(I3S实验室)
本文提出了一种基于神经网络的DNA数据存储新型压缩方案与多重描述编码技术,有效应对存储与生物操作中的错误挑战,在压缩率和抗噪性上优于现有方法。
2023-09-13 cs.AI cs.LG eess.IV
BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression
Nanjing University of Science and Technology(南京理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Huawei(华为)
研究大语言模型部署时的压缩问题,提出BiSCo-LLM框架,通过将局部权重块映射到超球面二值化、编码重建误差、进行类别恢复蒸馏及设置保护通道路径等方法,实现极低比特权重压缩并减少存储开销。
2026-07-10 cs.LG
SCONE: A Practical, Constraint-Aware Plug-in for Latent Encoding in Learned DNA Storage
Department of Computer Science and Engineering(计算机科学与工程系);College of Software(软件学院);Department of Genetics(遗传学系);Stanford School of Medicine(斯坦福医学院);Futurewei Technologies Inc.(未来科技有限公司)
SCONE通过直接在潜在空间上进行四进制算术编码,结合约束意识自适应编码模块,实现了高效且可靠的DNA存储编码,满足生物化学约束并提升压缩效率。
2026-02-05 cs.LG
Compressing Features for Learning with Noisy Labels
KU Leuven(鲁汶大学);Samsung AI Center(三星人工智能中心);Tencent AI lab(腾讯人工智能实验室);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
监督学习可以被看作是从输入数据中提取相关信息到特征表示中。当监督是嘈杂的时,这个过程变得困难,因为提取的信息可能不相关。事实上,最近的研究表明,网络很容易过拟合所有标签,包括那些被破坏的标签,因此很难推广到干净的数据集。在本文中,我们专注于带噪声标签的学习问题,并将压缩归纳偏差引入网络架构,以缓解这种过拟合问题。更确切地说,我们重新审视了一个经典的正则化称为Dropout和它的变种嵌套Dropout。Dropout可以作为其特征丢弃机制的压缩约束,而Nested Dropout进一步学习有序特征表示w.r.t.特征重要性。此外,压缩正则化的训练模型进一步与Co-teaching相结合,以提高性能。在理论上,我们对压缩正则化下的目标函数进行了偏差-方差分解。我们针对单一模型和联合教学进行了分析。这种分解提供了三个见解:(i)它表明过拟合确实是使用有噪标签学习的一个问题;(ii)通过信息瓶颈公式,它解释了为什么提出的特征压缩有助于对抗标签噪音;(iii)它解释了将压缩正则化纳入联合教学带来的性能提升。实验表明,我们的简单方法可以在具有真实世界标签噪声的基准测试(包括Clothing 1 M和ANIMAL-10 N)上具有与最先进的方法相当甚至更好的性能。我们的实现可以在https://yingyichen-cyy.github.io/CompressFeatNoisyLabels/上获…
2022-06-27 cs.LG stat.ML
When Dimensionality Hurts: The Role of LLM Embedding Compression for Noisy Regression Tasks
University of Oxford(牛津大学)
本文研究LLM嵌入压缩在不同信噪比回归任务中的作用,发现自编码器压缩嵌入可缓解过拟合并提升金融收益预测等噪声任务性能,但在高因果依赖任务中会降低性能,表明情感等可解释压缩表示的成功可能源于正则化效应。
2025-02-04 cs.CE cs.CL cs.LG
Adaptive Iterative Compression for High-Resolution Files: an Approach Focused on Preserving Visual Quality in Cinematic Workflows
DIAGNEXT(迪亚格内斯特公司);COPPEAD Universidade Federal do Rio de Janeiro(里约热内卢联邦大学COPPEAD学院)
本研究提出一种用于高分辨率DPX衍生TIFF文件的迭代自适应压缩模型,通过SSIM和PSNR动态调整压缩参数,在保持高视觉保真度的同时实现高达83.4%的存储缩减,且优于JPEG2000和H.265。
2025-01-27 cs.CV cs.ET cs.LG
TensorDex: A Compact, Tensor-Centric Storage System for Modern AI Models
University of Virginia(弗吉尼亚大学);Harvard University(哈佛大学)
TStore通过细粒度去重和压缩技术减少存储开销,保留模型可用性和性能,实现实验中显著的存储节省。
2026-10-16 cs.AI cs.DC cs.LG
A Survey on Deep Neural Network Compression: Challenges, Overview, and Solutions
Indian Institute of Technology (BHU) Varanasi(瓦拉纳西印度理工学院(贝拿勒斯印度教大学))
深度神经网络(DNN)由于其自动特征提取能力而获得了前所未有的性能。在过去的十年中,这种高阶性能导致DNN模型在不同的物联网(IoT)应用中的重要结合。然而,DNN模型对计算、能量和存储的巨大需求使得它们在资源受限的物联网设备上的部署受到限制。因此,近年来提出了几种压缩技术来降低DNN模型的存储和计算要求。DNN压缩的这些技术利用了不同的视角来压缩DNN,并以最小的精度妥协。它鼓励我们对DNN压缩技术进行全面的概述。在本文中,我们提出了一个全面的审查现有的文献压缩DNN模型,减少了存储和计算的要求。我们将现有的方法分为五大类,即,网络修剪、稀疏表示、比特精度、知识蒸馏以及其他,基于所结合的用于压缩DNN模型的机制。本文还讨论了与每类DNN压缩技术相关的挑战。最后,我们提供了每个类别下现有工作的快速总结以及DNN压缩的未来方向。
2020-10-05 cs.LG cs.NI eess.SP
AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving
University of Chicago(芝加哥大学);Microsoft(微软)
AdaptCache通过动态压缩KV缓存提升语言模型服务的低延迟和高质量性能。
2026-01-15 cs.AI cs.LG cs.OS
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression
Tencent Media Lab(腾讯媒体实验室);Northeastern University(东北大学)
压缩深度神经网络(DNN)模型以减轻存储和计算需求对于实际应用至关重要,尤其是对于资源有限的设备。虽然能够减少合理数量的模型参数,以前的非结构化或结构化的权重修剪方法很难真正加速推理,无论是由于非结构化稀疏性的硬件兼容性差,还是由于结构修剪网络的稀疏率低。为了减少存储和计算,以及保持原有的任务性能,我们提出了一个广义的重量统一框架,在硬件兼容的微结构化水平,以实现高量的压缩和加速。所选微结构块的权重系数被统一以减少块的存储和计算而不改变神经元连接,当所有统一系数被设置为零时,这变成微结构修剪特殊情况,其中神经元连接(因此存储和计算)被完全去除。此外,我们开发了一个有效的训练框架的基础上交替方向的乘法器(ADMM),它将我们的复杂约束优化到单独可解的子问题。通过迭代优化子问题,可以确保所需的微结构,高压缩比和低性能退化。我们使用各种基准模型和不同应用程序的数据集广泛评估了我们的方法。实验结果表明,国家的最先进的性能。
2021-06-16 cs.AI cs.CV cs.LG
EntroPack: Fast and Accurate Entropy-Coded Weight Compression at Arbitrary Bitrates
EntroPack提出熵编码权重压缩方法,结合E8格量化与条件概率模型,支持任意比特率,无需校准或微调,在Z-Image-Turbo上实现比NF4更低的权重误差和更少存储。
2026-09-29 cs.AI cs.LG
Progressive Compressed Records: Taking a Byte out of Deep Learning Data
Carnegie Mellon University(卡内基梅隆大学)
深度学习加速器有效地对大量且不断增长的数据进行训练,给商品网络和存储设备带来了新的负担。节省带宽的常见方法包括在训练之前对数据进行压缩或压缩。我们引入了渐进式压缩记录(PCR),这是一种数据格式,它使用压缩来减少获取和传输数据的开销,从而有效地减少了实现目标精度所需的训练时间。PCR与以前的存储格式不同,它将渐进式压缩与高效的存储布局相结合,以多个分辨率查看单个数据集--所有这些都不会增加总数据集大小。我们实施PCR,并在一系列数据集、训练任务和硬件架构上对其进行评估。我们的工作表明:(i)对于许多DL训练任务,数据集可以容忍的压缩量超过原始编码的50%;(ii)可以自动有效地为给定任务选择适当的压缩级别;(iii)PCR使任务能够在运行时轻松访问压缩数据--利用少至一半的训练带宽,从而可能使训练速度加倍。
2021-08-11 cs.LG stat.ML
Scaling Training Data with Lossy Image Compression
Granica
提出“存储缩放定律”描述测试误差随样本量和每图像比特数的联合演变,优化有损压缩级别以在给定存储下显著降低模型测试误差。
2024-07-25 cs.CV cs.IT cs.LG
Image Storage on Synthetic DNA Using Autoencoders
I3S laboratory, Côte d’Azur University(蔚蓝海岸大学I3S实验室);CNRS(法国国家科学研究中心)
在过去的几年中,数据存储需求的不断增长的趋势,更具体地说,对于“冷”数据(很少访问的数据),已经激发了对替代数据存储系统的研究。由于其生物化学特性,合成DNA分子现在被认为是这种新型存储的重要候选者。本文介绍了一些结果的有损图像压缩方法的卷积自编码器的基础上适应DNA数据存储。这里提出的模型架构被设计为有效地压缩图像,将其编码为四进制代码,并最终将其存储到合成DNA分子中。这项工作还旨在使压缩模型更好地适应我们在将数据存储到DNA中时遇到的问题,即DNA写入,存储和读取方法是容易出错的过程。这种压缩自动编码器的主要优点是我们的量化和对替换错误的鲁棒性,这要归功于我们在训练过程中使用的噪声模型。
2022-03-18 cs.AI cs.LG eess.IV
Quantifying the Impact of Lossy Compression on Neural Generative Surrogate Modeling
LLNL-CONF-2007282
研究有损压缩训练数据对生成代理模型质量的影响,提出利用神经网络训练不确定性估计压缩容错阈值的方法,在保持模型质量的同时实现高达39倍的数据存储节省和3倍的训练加速。
2026-06-16 cs.AI cs.DC cs.LG
Everything You Always Wanted to Know About Storage Compressibility of Pre-Trained ML Models but Were Afraid to Ask
University of Virginia(弗吉尼亚大学);University of Minnesota(明尼苏达大学)
针对预训练模型存储压缩需求,本文首次系统分析其存储可压缩性,提出ELF有损浮点压缩方法与Elves框架,实现1.52×压缩比且精度损失可忽略。
2024-02-20 cs.DB cs.LG cs.OS
EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
University of Chicago(芝加哥大学);UC Berkeley(伯克利大学);Tensormesh, Inc.(Tensormesh公司);MIT(麻省理工学院);UC Santa Cruz(圣克拉拉大学);Stanford(斯坦福大学);Microsoft(微软公司)
EVICPRESS通过联合优化KV缓存压缩与驱逐策略,提高LLM服务效率,实现更低延迟和高质量生成。
2025-12-16 cs.AI cs.LG cs.OS
Lossy Compression of Noisy Data for Private and Data-Efficient Learning
Stanford University(斯坦福大学)
由于现代学习任务所需的敏感用户数据量越来越多,因此高效的隐私保护学习至关重要。我们提出了一个框架,用于降低用户数据的存储成本,同时提供隐私保证,而不会在学习数据的效用方面造成重大损失。我们的方法包括噪声注入,然后是有损压缩。我们表明,当适当匹配的有损压缩的分布增加的噪声,压缩的例子收敛,在分布中,无噪声的训练数据的样本大小的训练数据(或尺寸的训练数据)增加。从这个意义上说,基本上保持了数据用于学习的效用,同时减少了可量化的存储和隐私泄露。我们在CelebA数据集上进行了性别分类的实验结果,发现我们建议的管道在实践中实现了理论的承诺:图像中的个体无法识别(或识别度较低,取决于噪声水平),数据的总体存储量大幅减少,分类准确性没有实质性损失(在某些情况下略有提高)。作为一个额外的奖励,我们的实验表明,我们的方法在面对对抗性测试数据时大大提高了鲁棒性。
2023-03-22 cs.IT cs.LG eess.SP
NeurStore: Efficient In-database Deep Learning Model Management System
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
本文提出NeurStore,一种数据库内深度学习模型管理系统,通过基于张量的细粒度存储、增量量化算法和压缩感知加载机制,实现高效存储与利用,显著提升压缩比和加载吞吐量。
2025-09-14 cs.DB cs.LG
A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing
Intel Labs(英特尔实验室)
拆分计算已经成为实现基于DNN的AI工作负载的最新范例,其中DNN模型被分成两部分,其中一部分在移动/客户端设备上执行,另一部分在边缘服务器(或云)上执行。将数据压缩应用于来自DNN的需要传输的中间张量,从而解决优化速率-准确度-复杂度权衡的挑战。现有的分裂计算方法采用基于ML的数据压缩,但需要针对不同的压缩级别重新训练整个DNN模型或其中的重要部分的参数。这会带来很高的计算和存储负担:从头开始训练完整的DNN模型在计算上要求很高,维护DNN参数的多个副本会增加存储需求,并且在推理期间切换完整的权重集会增加内存带宽。在本文中,我们提出了一种解决所有这些挑战的方法。它涉及瓶颈单元的系统设计和训练--简单、低成本的神经网络--可以在分裂点插入。我们的方法是非常轻量级的,无论是在训练和推理,非常有效,并实现了出色的率失真性能在一小部分的计算和存储开销相比,现有的方法。
2022-08-24 cs.IT cs.LG math.IT
Neural NeRF Compression
University of California Irvine(加州大学欧文分校)
针对基于特征网格的NeRF存储开销问题,提出无编码器、端到端优化的神经压缩方法,通过重要性加权率失真目标与稀疏熵模型提升压缩和重建效果。
2024-06-13 cs.CV cs.LG
Estimating Information Flow in Deep Neural Networks
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们研究了深度神经网络(DNN)训练过程中的信息流和内部表示的演变,旨在揭开信息瓶颈理论的压缩方面的神秘面纱。该理论表明,DNN训练包括快速拟合阶段,然后是较慢的压缩阶段,其中输入$X$和内部表示$T$之间的互信息$I(X;T)$减少。几篇论文观察到不同DNN模型上的估计互信息的压缩,但这些网络上的真实$I(X;T)$可以证明是常数(离散$X$)或无限(连续$X$)。这项工作解释了理论和实验之间的差异,并澄清了这些过去的工作实际测量的内容。为此,我们引入了一个辅助(噪声)DNN框架,其中$I(X;T)$是一个依赖于网络参数的有意义的量。这个嘈杂的框架被证明是一个很好的代理原始(确定性)DNN的性能和学习的表示。然后,我们开发了一个严格的估计$I(X;T)$在嘈杂的DNN和观察各种模型中的压缩。通过将噪声DNN中的$I(X;T)$与信息论通信问题相关联,我们表明压缩是由来自同一类的输入的隐藏表示的渐进聚类驱动的。几种方法来直接监测聚类的隐藏表示,无论是在嘈杂的和确定性的DNN,显示有意义的集群形成的$T$空间。最后,我们回到估计$I(X;T)$在过去的作品中,并证明,虽然它不能捕捉到真正的(空洞的)互信息,它确实作为聚类的措施。这澄清了过去对压缩的观察,并将隐藏表示的几何聚类隔离为真正的感兴趣现象。
2019-05-30 cs.LG stat.ML
Experimental Analysis of Large-scale Learnable Vector Storage Compression
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文针对嵌入向量内存消耗大的问题,提出新的分类法并开发了集成14种代表性方法的模块化基准测试框架,在统一环境下全面评估了各嵌入压缩方法的性能,为不同内存预算场景提供最佳方法推荐并指明未来研究方向。
2024-02-13 cs.DB cs.IR cs.LG
Lightweight Correlation-Aware Table Compression
University of Technology Nuremberg(纽伦堡工业大学)
针对开放表格式压缩瓶颈,本文提出 Virtual 框架,自动发现并利用数据相关性,在几乎不影响扫描性能的情况下较 Apache Parquet 最多减小 40% 文件体积。
2024-10-24 cs.DB cs.IR cs.LG
Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression
Technical University of Darmstadt(达姆施塔特工业大学);National Central University(国立中央大学);National Cheng Kung University(国立成功大学);University of Siegen(锡根大学)
针对大语言模型参数多、推理内存占用高难以部署的问题,提出结合SVD的跨层基共享压缩方法,将不同层权重分解为共享基向量与独有系数的线性组合,实验证明其在高压缩比下优于现有同类压缩技术。
2024-10-02 cs.CL cs.LG
Lossless and Near-Lossless Compression for Foundation Models
IBM Research(IBM研究院);Tel-Aviv University(特拉维夫大学);MIT(麻省理工学院);Boston University(波士顿大学);Dartmouth University(达特茅斯大学)
研究基础模型的无损与近无损压缩方法,通过定制压缩变体和可调有损技术,显著减少模型存储与网络传输开销,且对准确度影响极小。
2024-04-05 cs.IT cs.LG math.IT
DNA data storage, sequencing data-carrying DNA
Imperial College London(伦敦帝国学院)
DNA是一个领先的候选人作为下一个档案存储介质,由于其密度,耐用性和可持续性。为了读取(和写入)数据,DNA存储利用了几十年来开发的技术,用于对生命科学中自然存在的DNA进行测序。为了对以前看不见的生物DNA实现更高的准确性,测序依赖于扩展和训练被称为碱基检测器的深度机器学习模型。模型复杂性的这种增长需要大量的资源,包括计算和数据集。它还消除了用于DNA的紧凑型读头作为存储介质的可能性。我们认为,我们需要脱离盲目使用来自生命科学的测序模型来存储DNA数据。差别是惊人的:对于生命科学应用,我们不能控制DNA,然而,在DNA数据存储的情况下,我们控制如何写入它,以及特定的写入头。更具体地说,携带数据的DNA可以被调制并嵌入比对标记和纠错码,以保证更高的保真度并执行机器学习模型执行的一些工作。在本文中,我们研究了深度模型大小和纠错码之间的准确性权衡。我们表明,从一个模型大小为107 MB,从模型压缩的准确性降低,可以通过使用简单的纠错码的DNA序列进行补偿。在我们的实验中,我们表明,在模型的大小的大幅减少不会招致不当的惩罚所使用的纠错码,因此铺平了道路,便携式数据携带的DNA读头。最重要的是,我们表明,通过联合使用模型压缩和纠错码,我们实现了更高的读取精度比没有压缩和纠错码。
2022-05-11 cs.ET cs.IT cs.LG
KV Cache Transform Coding for Compact Storage in LLM Inference
KVTC通过变换编码实现LLM推理中的高效缓存压缩,保持推理和长上下文准确性,压缩率可达20倍或更高。
2026-03-11 cs.AI cs.CL cs.LG
ZipNN: Lossless Compression for AI Models
IBM Research(IBM研究院);IBM;Tel Aviv University(特拉维夫大学);Boston University(波士顿大学);MIT(麻省理工学院);Dartmouth College(达特茅斯学院)
本文提出ZipNN,一种专为神经网络设计的无损压缩方法,在Llama 3等流行模型上相比普通压缩可额外节省17%以上空间,并将压缩与解压缩速度提升62%,有望大幅减少模型下载的网络流量。
2025-06-04 cs.IT cs.LG math.IT
Towards Building a Real Time Mobile Device Bird Counting System Through Synthetic Data Training and Model Compression
在开阔的天空中计算鸟类的数量一直是一个具有挑战性的问题,因为大量的鸟群和鸟类可以重叠。另一个困难是缺乏准确的训练样本,因为标记鸟群图像的成本可能非常高,并且每个样本图片在高分辨率图像中可能包含数千只鸟。受最近使用合成数据进行人群计数的训练工作的启发,我们设计了一种机制来生成具有精确鸟类计数和相应密度图的合成鸟类数据集。然后,我们在合成数据集上训练一个Unet模型,以执行密度图估计,从而为每个输入生成计数。我们的方法能够在真实数据集上实现约12.4的MSE。为了建立一个可扩展的系统快速鸟类计数的存储和计算的限制,我们使用模型压缩技术和有效的模型结构,以提高推理速度和节省存储成本。我们能够将模型的存储成本从55MB降低到5MB以下,同时将准确性损失降至最低。本文描述了建立一个高效的鸟类计数系统的流程。
2019-12-28 cs.CV cs.LG eess.IV