Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity
POSTECH(浦项科技大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
针对文本引导图像压缩中像素保真度下降的问题,提出文本自适应编码与联合图像-文本损失训练的框架,在保持高感知质量的同时实现高像素级保真度,并在LPIPS指标上优于所有基线。
2024-05-22 cs.CV cs.LG
Image compression optimized for 3D reconstruction by utilizing deep neural networks
Rafael Advanced Defense Systems LTD.(拉斐尔先进防御系统有限公司);Technion - Israel Institute of Technology(以色列理工学院)
计算机视觉任务通常期望在压缩图像上执行。像JPEG 2000这样的经典图像压缩标准被广泛使用。然而,它们并没有考虑到手头的具体最终任务。受基于递归神经网络(RNN)的图像压缩和三维(3D)重建工作的启发,我们提出了统一的网络架构来共同解决这两个任务。这些关节模型提供针对3D重建的特定任务定制的图像压缩。我们提出的模型压缩的图像,产生三维重建性能优于使用JPEG 2000压缩。我们的模型显着扩展了3D重建可能的压缩率范围。我们还表明,这可以高效地完成,几乎没有额外的成本,以获得压缩的计算已经需要执行的3D重建任务。
2021-07-24 cs.CV cs.LG eess.IV
Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning: Enabling Cost-Effective LLM Analysis of Repetitive Data
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
本文提出一种无损提示压缩方法,利用字典编码和上下文学习,无需微调即可高效分析重复数据,压缩比达80%且保持高精度。
2026-03-19 cs.AI cs.CL cs.LG
SCONE: A Practical, Constraint-Aware Plug-in for Latent Encoding in Learned DNA Storage
Department of Computer Science and Engineering(计算机科学与工程系);College of Software(软件学院);Department of Genetics(遗传学系);Stanford School of Medicine(斯坦福医学院);Futurewei Technologies Inc.(未来科技有限公司)
SCONE通过直接在潜在空间上进行四进制算术编码,结合约束意识自适应编码模块,实现了高效且可靠的DNA存储编码,满足生物化学约束并提升压缩效率。
2026-02-05 cs.LG
FermiGrad-SVD: An LLM Compression Pipeline with Global Rank Selection and Gauge Fixing
Multiverse Computing(多维计算公司);Donostia International Physics Center(Donostia国际物理中心);Ikerbasque Foundation for Science(Ikerbasque科学基金会)
本文提出FermiGrad和PivGa两种方法,通过费米函数优化秩选择和规范固定,实现LLM压缩的全局优化。
2026-10-30 cs.LG stat.ML
SEE: Sememe Entanglement Encoding for Transformer-bases Models Compression
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Beijing Wenge Technology Co., Ltd(北京文格科技有限公司)
提出SEE算法,利用专家先验知识和低秩近似及量子纠缠思想压缩Transformer模型,在降低参数与计算成本的同时保持稳定性能。
2024-12-15 cs.AI cs.CL cs.LG
KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
KV-COBRA通过按注意力头协同优化秩和位宽分配,在低比特率下实现更优的KV缓存压缩,显著减少精度损失且无额外开销。
2026-09-22 cs.AI cs.LG
LeCo: Lightweight Compression via Learning Serial Correlations
Tsinghua University(清华大学)
提出LeCo框架,利用机器学习自动消除值序列中的序列冗余,使现有压缩算法成为其特例,并在压缩比和随机访问速度上实现帕累托改进,显著提升Arrow和RocksDB性能。
2023-11-23 cs.DB cs.LG
EVOLVE: Efficient Learned Volume Compression with Variable-Rate Encoding on a Cross-Domain Database
Department of Computer Science and Engineering, University of Notre Dame(计算机科学与工程系,诺特丹大学)
针对科学模拟体数据压缩难题,EVOLVE构建跨域数据库,改进自动编码器设计,采用可学习增益机制实现可变速率编码,实验证明其在压缩率和速度上优于传统方法与隐式神经表示方法。
2026-07-21 cs.DB cs.GR cs.LG
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI(Alterra人工智能公司);Queen’s University(女王大学);Workday Inc.(Workday公司)
提出上下文感知提示压缩方法CPC,通过对比学习训练句子编码器进行句子级提示压缩,在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks
研究旨在解构深度网络内部知识,提出HOPE数学框架,将网络压缩从离散域转至希尔伯特空间,统一剪枝与神经元合并为低秩子空间投影,引入宏块逐出涵盖多层结构,通过实验验证该无数据无超参数框架的实用潜力。
2026-07-24 cs.AI cs.LG stat.ML
Unified Framework for Pre-trained Neural Network Compression via Decomposition and Optimized Rank Selection
Université Grenoble Alpes, CNRS, Computer Science Laboratory LIG(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、计算机科学实验室LIG)
本文提出统一框架,在连续空间中自动搜索最优秩并同时进行张量分解,无需额外训练数据即可高效压缩预训练模型,并通过微调保持与原始模型相当的性能。
2025-09-21 cs.CV cs.LG
BackSlash: Rate Constrained Optimized Training of Large Language Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Computer Science, New York University(纽约大学计算机科学)
针对大语言模型训练阶段压缩未被充分探索的问题,提出基于速率失真优化的BackSlash训练时压缩方法,实现精度与复杂度的灵活权衡,实验显示其可减少60%-90%内存且无精度损失,还能增强泛化和剪枝鲁棒性、加速边缘推理。
2025-05-26 cs.AI cs.LG
Joint Encoding of KV-Cache Blocks for Scalable LLM Serving
Distributed and Parallel Software Lab(分布式并行软件实验室);Huawei Technologies(华为技术)
通过联合编码KV缓存块,实现高并发LLM服务,提升吞吐量并减少内存消耗。
2026-01-06 cs.AI cs.LG
End-to-end learned Lossy Dynamic Point Cloud Attribute Compression
提出端到端动态点云属性有损压缩方法,利用高维卷积和上下文模型,相比MPEG RAHT平均节省38.1%码率。
2024-08-20 cs.LG eess.IV
Safety and Performance, Why not Both? Bi-Objective Optimized Model Compression toward AI Software Deployment
Peking University(北京大学);Shanghai University of Finance and Economics(上海财经大学)
人工智能(AI)软件中的深度学习模型的大小正在迅速增加,这阻碍了在资源受限设备上的大规模部署(例如,智能手机)。为了缓解这个问题,人工智能软件压缩起着至关重要的作用,其目的是在保持高性能的同时压缩模型大小。然而,大模型中的固有缺陷可能被压缩模型继承。这样的缺陷可能很容易被攻击者利用,因为压缩模型通常部署在大量设备中,而没有足够的保护。在本文中,我们试图解决安全模型压缩问题,从安全性能协同优化的角度。具体来说,受测试驱动的开发(TDD)范式在软件工程,我们提出了一个测试驱动的稀疏训练框架称为SafeCompress。通过模拟攻击机制作为安全测试,SafeCompress可以按照动态稀疏训练范式自动将大模型压缩为小模型。此外,考虑到代表性的攻击,即,成员推断攻击(MIA),提出了一种具体的安全模型压缩机制MIA-SafeCompress。进行了广泛的实验,以评估MIA-SafeCompress在五个数据集上的计算机视觉和自然语言处理任务。结果验证了该方法的有效性和推广性。我们还讨论了如何适应SafeCompress的其他攻击,除了MIA,展示了SafeCompress的灵活性。
2022-09-09 cs.CR cs.LG cs.SE
A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing
Intel Labs(英特尔实验室)
拆分计算已经成为实现基于DNN的AI工作负载的最新范例,其中DNN模型被分成两部分,其中一部分在移动/客户端设备上执行,另一部分在边缘服务器(或云)上执行。将数据压缩应用于来自DNN的需要传输的中间张量,从而解决优化速率-准确度-复杂度权衡的挑战。现有的分裂计算方法采用基于ML的数据压缩,但需要针对不同的压缩级别重新训练整个DNN模型或其中的重要部分的参数。这会带来很高的计算和存储负担:从头开始训练完整的DNN模型在计算上要求很高,维护DNN参数的多个副本会增加存储需求,并且在推理期间切换完整的权重集会增加内存带宽。在本文中,我们提出了一种解决所有这些挑战的方法。它涉及瓶颈单元的系统设计和训练--简单、低成本的神经网络--可以在分裂点插入。我们的方法是非常轻量级的,无论是在训练和推理,非常有效,并实现了出色的率失真性能在一小部分的计算和存储开销相比,现有的方法。
2022-08-24 cs.IT cs.LG math.IT
Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization
EPFL(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
研究针对词元化中低资源语言词元化不合理问题,引入奇偶感知字节对编码,通过公平最大化规则平衡跨语言公平性与全局压缩,减少词元化不平等,对全局压缩和下游语言模型性能影响小。
2026-07-07 cs.AI cs.CL cs.LG
Implicit Neural Representations for Image Compression
ETH Zurich(苏黎世联邦理工学院);Technical University of Munich(慕尼黑工业大学);Google(谷歌)
近年来,隐式神经表征(INRs)作为一种新颖有效的数据表征方法受到了广泛关注。到目前为止,以前的工作主要集中在优化其重建性能。这项工作从一个新的角度研究INR,即,作为图像压缩的工具。为此,我们提出了第一个全面的压缩管道的基础上,包括量化,量化意识的再训练和熵编码的INR。用INR编码,即过拟合到数据样本,通常慢几个数量级。为了缓解这一缺点,我们利用基于MAML的元学习初始化,以更少的梯度更新实现编码,这通常也会提高INR的率失真性能。我们发现,我们使用INR进行源压缩的方法大大优于类似的先前工作,与专门为图像设计的常见压缩算法相比具有竞争力,并缩小了与基于率失真自动编码器的最先进学习方法的差距。此外,我们提供了一个广泛的消融研究的重要性,我们的方法,我们希望有利于这种新的方法,图像压缩未来的研究。
2022-08-03 cs.CV cs.LG eess.IV
Optimized learned entropy coding parameters for practical neural-based image and video compression
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
当权重和激活被量化为低精度整数时,基于神经的图像和视频编解码器的功率效率显著提高。虽然存在用于减少量化效应的通用技术,但是当不考虑特定熵编码属性时可能发生大的损失。本文分析了参数量化对熵编码的影响,并提出了一种减小熵编码损失的方法。它示出,通过使用某种类型的编码参数学习,均匀量化成为实际上最佳的,也简化了代码存储器的要求最小化。文中给出了新表示的数学性质,并通过编码实验证明了其有效性,结果表明,在每个网络输出的精度低至4~bits时,可以获得良好的结果,而在8~bits时几乎没有损失。
2023-01-20 cs.IT cs.LG cs.MM
Learned Compression for Images and Point Clouds
Simon Fraser University(西蒙菲莎大学);Faculty of Applied Sciences(应用科学学院);School of Engineering Science(工程科学学院)
该研究将深度学习应用于数据压缩以构建下一代多媒体编解码器,提出动态适配的低复杂度熵模型、面向分类的轻量点云编解码器,并探究视频帧运动在卷积潜在空间的表征,为学习式压缩领域提供三项核心贡献。
2024-09-12 cs.CV cs.LG eess.IV