Lossless Image Compression Using Multi-level Dictionaries: Binary Images
该研究提出一种基于多级字典的二值图像无损压缩方案，通过学习多尺寸像素模式字典实现编码，在压缩性能上显著优于WebP、现有学习类方案及JBIG2，为低复杂度且有性能保障的无损压缩提供了新思路。
2024-09-11 cs.CV cs.IT cs.LG
Lossless Compression via Chained Lightweight Neural Predictors with Information Inheritance
ITMO University（ITMO大学）
本文提出基于链式神经预测器的概率估计架构，利用信息继承机制提升压缩效率，实验表明其在压缩比和吞吐量上优于现有状态最优PAC压缩器。
2026-04-16 cs.IT cs.LG math.IT
LLMZip: Lossless Text Compression using Large Language Models
Texas A&M University（得克萨斯农工大学）
本文利用大型语言模型LLaMA-7B预测下一token，提出了英语熵渐近上界的新估计，并据此设计了一种优于BSC、ZPAQ和paq8h的无损文本压缩算法。
2023-06-26 cs.CL cs.IT cs.LG
A Fast Transformer-based General-Purpose Lossless Compressor
City University of Hong Kong（香港城市大学）；National Taiwan University（台湾大学）
基于深度学习的压缩机由于压缩比的大幅提高而受到关注。然而，现代方法遭受长的执行时间。为了解决这个问题，本文的目标是减少基于深度学习的压缩器的执行时间。顺序地构建历史依赖性（例如，递归神经网络）负责长的推理延迟。相反，我们将Transformer引入深度学习压缩器，以并行构建历史依赖关系。然而，现有的Transformer计算量太大，与压缩任务不兼容。提出了一种基于单层Transformer的快速通用无损压缩器TRACE。首先，我们设计了一个新的度量建议压缩模型结构的选择部分。为了充分利用单层Transformer的容量，进一步提出了字节分组和Shared-ffn方案。这些功能使TRACE能够实现具有竞争力的压缩比和更快的速度。此外，我们进一步加快压缩过程中，通过设计一个控制器，以减少参数更新的开销。实验表明，TRACE实现了整体$\sim$ 3倍的加速，同时保持了与最先进的压缩机相当的压缩比。TRACE的源代码和数据集的链接可在https://github.com/mynotwo/A-Fast-Transformer-based-General-Purpose-LosslessCompressor上获得。
2022-04-01 cs.IT cs.LG math.IT
Lossless Compression with Latent Variable Models
University College London（伦敦大学学院）
我们开发了一个简单而优雅的方法，无损压缩使用潜变量模型，我们称之为“位回与非对称数字系统”（BB-ANS）。该方法包括交织编码和解码步骤，并在压缩批量数据时实现最佳速率。我们首先证明了它的MNIST测试集上，表明国家的最先进的无损压缩是可能的，使用一个小的变分自编码器（VAE）模型。然后，我们利用一种新的经验见解，即在小图像上训练的完全卷积生成模型能够推广到任意大小的图像，并将BB-ANS扩展到分层潜变量模型，从而实现对ImageNet数据集的全尺寸彩色图像的最先进的无损压缩。我们描述“Craystack”，一个模块化软件框架，我们已经开发了快速原型压缩使用深生成模型。
2021-04-22 cs.AI cs.IT cs.LG
Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables
University of California, Berkeley（加州大学伯克利分校）
比特回退的论点表明，潜在变量模型可以变成无损压缩方案。然而，对于一般的潜变量模型，将比特回退参数转换成有效和实用的无损压缩方案仍然是一个悬而未决的问题。Townsend等人（2019）最近提出的非对称数字系统位回编码（BB-ANS）使得位回编码对于具有一个潜在层的潜在变量模型实际上是可行的，但对于分层潜在变量模型来说效率低下。在本文中，我们提出了比特交换，一个新的压缩方案，推广BB-ANS，并实现严格更好的压缩率与马尔可夫链结构的层次潜变量模型。通过实验，我们验证了比特交换的结果在无损压缩率是经验优于现有的技术。我们的实现可以在https://github.com/fhkingma/bitswap上获得。
2019-10-02 cs.AI cs.IT cs.LG
Lossless compression with state space models using bits back coding
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）
我们推广的“位回ANS”方法的时间序列模型的潜在马尔可夫结构。这类模型包括隐马尔可夫模型（HHMM）、线性高斯状态空间模型（LGSSM）等。我们提供的实验证据表明，我们的方法是有效的小规模的模型，并讨论其适用性较大规模的设置，如视频压缩。
2021-05-04 cs.AI cs.IT cs.LG
Structure induction by lossless graph compression
这项工作的动机是需要自动化的结构发现在庞大的和不断增长的关系数据的集合通常表示为图形，例如基因组网络。一种新的算法，被称为Graphitour，结构诱导的无损图压缩，并说明了一个明确的和广泛已知的情况下，嵌套结构的DNA分子。这项工作扩展到图形一些成熟的方法，语法推理以前只适用于字符串。自底向上图压缩问题与最大基数（非二分）最大基数匹配问题有关。该算法接受各种图形类型，包括有向图和带有标记节点和弧的图。由此产生的结构可以用于表示和分类的图。
2007-03-27 cs.DS cs.IT cs.LG
Practical Lossless Compression with Latent Variables using Bits Back Coding
University College London（伦敦大学学院）
深度潜变量模型最近在许多数据领域取得了成功。无损压缩是这些模型的一种应用，尽管其具有非常有用的潜力，但还没有以实际的方式实现。我们提出了"位回ANS"（BB-ANS），一个计划，以执行无损压缩与潜变量模型在一个接近最佳的速率。我们证明了这个方案，使用它来压缩MNIST数据集与变分自动编码器模型（VAE），实现压缩率优于标准方法，只有一个简单的VAE。鉴于该计划是非常适合并行化，我们的结论是，有一个足够高的质量生成模型，该计划可以用来实现可接受的运行时间在压缩率的大幅改善。我们在www.example.com上提供了我们的实现。
2019-01-15 cs.AI cs.IT cs.LG
Learning Better Lossless Compression Using Lossy Compression
ETH Zurich（苏黎世联邦理工学院）；Google Research, Brain Team（谷歌研究院（大脑团队））
我们利用强大的有损图像压缩算法BPG来构建一个无损图像压缩系统。具体地说，原始图像首先分解成后得到的有损重建与BPG压缩和相应的残差。然后，我们用基于卷积神经网络的概率模型对残差的分布进行建模，该概率模型以BPG重建为条件，并将其与熵编码相结合以对残差进行有损压缩编码。最后，使用由BPG和学习的残差编码器产生的比特流的级联来存储图像。由此产生的压缩系统在学习无损全分辨率图像压缩方面实现了最先进的性能，优于以前学习的方法以及PNG，WebP和JPEG 2000。
2020-03-23 cs.CV cs.LG eess.IV
iVPF: Numerical Invertible Volume Preserving Flow for Efficient Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
如今，存储快速增长的大数据是不平凡的，这需要高性能的无损压缩技术。基于似然的生成模型已经证明了它们在无损压缩上的成功，其中基于流的模型在允许利用双射映射的精确数据似然优化方面是期望的。然而，常见的连续流与编码方案的离散性相矛盾，这需要1）对流模型施加严格的约束，这降低了性能，或者2）编码大量的双射映射错误，这降低了效率。本文研究了无损压缩的保体积流，证明了无误差的双射映射是可能的。本文在一般保体积流的基础上，提出了数值可逆保体积流（iVPF）。通过在流模型上引入新的计算算法，实现了精确的双射映射，而没有任何数值误差。本文还提出了一种基于iVPF的无损压缩算法。在不同数据集上的实验表明，基于iVPF的算法在轻量级压缩算法中达到了最先进的压缩比。
2021-11-01 cs.LG
Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
潜变量模型已成功地应用于无损压缩的比特回退编码算法。然而，比特返回遭受比特率的增加等于近似后验和真实后验之间的KL发散。在本文中，我们将展示如何消除这一差距渐近派生比特回编码算法从更严格的变分界限。其关键思想是利用扩展的空间表示的蒙特卡罗估计的边际似然。天真地应用，我们的计划将需要更多的初始位比标准的位回编码器，但我们展示了如何大大减少这种额外的成本与耦合的潜在空间。当可以利用并行架构时，我们的编码器可以实现比比特回退更好的速率，而几乎没有额外的成本。我们证明了改进的无损压缩率在各种设置，特别是在分布或顺序数据压缩。
2021-06-15 cs.AI cs.IT cs.LG
Lossless Image Compression through Super-Resolution
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单有效的无损图像压缩算法。我们将图像的低分辨率版本存储为原始像素，然后进行几次无损超分辨率迭代。对于无损超分辨率，我们预测的高分辨率图像的概率，在低分辨率输入的条件下，并使用熵编码压缩这个超分辨率算子。基于超分辨率的压缩（SReC）能够在大型数据集上实现最先进的压缩率和实际运行时间。代码可在https://github.com/caoscott/SReC在线获得。
2020-04-06 cs.CV cs.LG eess.IV
HiLLoC: Lossless Image Compression with Hierarchical Latent Variable Models
University College London（伦敦大学学院）
我们做出了以下惊人的观察：在32 x32 ImageNet上训练的完全卷积VAE模型可以很好地泛化，不仅可以泛化到64 x64，还可以泛化到更大的照片，而模型没有变化。我们使用这个属性，将完全卷积模型应用于无损压缩，展示了一种方法，可以将基于VAE的“Bits-Back with ANS”算法扩展到大型彩色照片的无损压缩，并实现最先进的全尺寸ImageNet图像压缩。我们发布了Craystack，这是一个开源库，用于使用概率模型方便地进行无损压缩原型设计，以及我们所有压缩结果的完整实现。
2019-12-20 cs.CV cs.LG eess.IV
DZip: improved general-purpose lossless compression based on novel neural network modeling
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；TECNUN, University of Navarra（纳瓦拉大学TECNUN）；Stanford University（斯坦福大学）
我们考虑基于统计数据建模的无损压缩，然后基于预测的编码，其中输入数据的准确统计模型导致压缩的实质性改进。我们提出了DZip，一个通用的压缩机的顺序数据，利用众所周知的建模能力的神经网络（NN）的预测，其次是算术编码。Dzip使用了一种基于自适应和半自适应训练的新型混合架构。与大多数基于NN的压缩器不同，DZip不需要额外的训练数据，也不限于特定的数据类型，只需要输入数据的字母大小。该压缩器在各种真实数据集上的性能优于通用压缩器，如Gzip（平均减少26%），在合成数据集上实现了接近最佳的压缩，并且在没有任何人工输入的情况下，对于大序列长度，其性能接近专用压缩器。DZip在其当前实现中的主要限制是编码/解码时间，这限制了其实用性。尽管如此，研究结果显示了开发基于神经网络和混合建模的改进的通用压缩机的潜力。
2020-09-18 cs.IT cs.LG math.IT
Lossy Compression for Lossless Prediction
Vector Institute（向量研究所）；The University of British Columbia（英属哥伦比亚大学）；Facebook AI Research（脸书人工智能研究院）；University of Toronto（多伦多大学）
大多数数据是自动收集的，只有算法才能“看到”。然而，数据压缩器保留感知保真度，而不仅仅是执行下游任务的算法所需的信息。在本文中，我们描述了确保所有预测任务的高性能所需的比特率，这些预测任务在一组变换下是不变的，例如数据增强。基于我们的理论，我们设计了用于训练神经压缩器的无监督目标。使用这些目标，我们训练了一个通用的图像压缩器，与JPEG相比，在8个数据集上实现了大幅的速率节省（在ImageNet上超过$1000\times$），而不会降低下游分类性能。
2022-01-28 cs.IT cs.LG math.IT
Diffuse to Compress: Leveraging Diffusion LMs for Lossless Compression
该研究针对无损文本压缩的吞吐量瓶颈，首次引入扩散语言模型（DLM）替代自回归LLM，设计策略解决算法挑战，在enwik8数据集上推进了无损文本压缩的现有技术水平。
2026-08-13 cs.AI cs.CL cs.IT
Fast Lossless Neural Compression with Integer-Only Discrete Flows
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Renmin University of China（中国人民大学）
通过将熵编解码器应用于学习的数据分布，神经压缩器在压缩比方面明显优于传统编解码器。然而，神经网络的高推理延迟阻碍了神经压缩器在实际应用中的部署。在这项工作中，我们提出了整数只离散流（IODF），一个有效的神经压缩器与整数只算术。我们的工作是建立在整数离散流，其中包括离散随机变量之间的可逆变换。我们提出了高效的可逆变换与整数运算的基础上8位量化。我们的可逆变换配备了可学习的二进制门，以在推理过程中删除冗余的过滤器。我们在GPU上使用TensorRT部署IODF，与现有最快的神经压缩器相比，实现了10倍的推理加速，同时保留了ImageNet32和ImageNet64上的高压缩率。
2022-06-17 cs.CV cs.IT cs.LG
Parallel Neural Local Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
最近提出的神经局部无损压缩（NeLLoC），这是基于局部自回归模型，已达到国家的最先进的（SOTA）的分布外（OOD）的泛化性能在图像压缩任务。除了鼓励面向对象的推广，本地模型还允许在解码阶段进行并行推理。在本文中，我们提出了两个局部自回归模型的并行化方案。我们讨论了实施方案的实用性，并提供实验证据的压缩运行时的显着收益相比，以前的，非并行实现。
2022-06-26 cs.LG eess.IV stat.ML
Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network
College of Biomedical Engineering（生物医学工程学院）；Zhejiang University（浙江大学）
本文提出一种硬件友好的流式无损体积压缩框架，通过门控循环卷积神经网络捕捉医学体积图像切片间依赖，以极低模型权重实现高效熵编码，并在FPGA上实现实时压缩，性能优于现有方法。
2023-11-27 cs.AR cs.LG eess.IV
DNN gradient lossless compression: Can GenNorm be the answer?
NYCU, Taiwan（台湾阳明交通大学）
本文考虑深度神经网络（DNN）训练中的最优梯度无损压缩问题。梯度压缩在许多分布式DNN训练场景中是相关的，包括最近流行的联邦学习（FL）场景，其中每个远程用户通过无噪声但速率受限的信道连接到参数服务器（PS）。在分布式DNN训练中，如果底层梯度分布可用，则可以使用经典的无损压缩方法来减少传送梯度条目所需的比特数。平均场分析表明，梯度更新可以被认为是独立的随机变量，而拉普拉斯近似可以用来证明梯度在某些情况下具有近似正态分布的分布。在本文中，我们认为，对于一些实际感兴趣的网络，梯度项可以很好地建模为具有广义正态（GenNorm）分布。我们提供数值评估来验证假设GenNorm建模提供了DNN梯度尾部分布的更准确预测。另外，当将经典的固定到变量无损编码算法（例如霍夫曼编码）应用于量化的梯度更新时，这种建模选择在梯度的无损压缩方面提供了具体的改进。后一结果确实提供了具有低存储器和计算复杂性的有效压缩策略，其在分布式DNN训练场景中具有很大的实际相关性。
2021-11-15 cs.LG
Deep probabilistic model for lossless scalable point cloud attribute compression
近年来，已经提出了几种利用先进的深度学习技术的点云几何压缩方法，但在属性压缩，特别是无损压缩方面的工作有限。在这项工作中，我们建立了一个端到端的多尺度点云属性编码方法（MNeT），逐步投影到多尺度潜在空间的属性。多尺度架构为属性概率建模提供了准确的上下文，从而使用单个网络预测最小化编码比特率。此外，我们的方法允许可伸缩的编码，较低的质量版本可以很容易地从有损压缩的比特流提取。我们验证了我们的方法上的一组点云MVUB和MPEG，并表明我们的方法优于最近提出的方法，并与最新的G-PCC版本14。此外，我们的编码时间大大快于G-PCC。
2023-03-11 cs.LG eess.IV
Integer Discrete Flows and Lossless Compression
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）；Google（谷歌）
无损压缩方法使用统计模型来缩短数据的预期表示大小而不丢失信息。在这种情况下，基于流的模型是有吸引力的，因为它们允许精确的似然优化，这相当于最小化每个消息的预期比特数。然而，传统的流假设连续数据，这可能导致在量化以用于压缩时的重构误差。出于这个原因，我们为有序离散数据引入了一个基于流的生成模型，称为离散流（IDF）：一个双射整数映射，可以学习高维数据的丰富转换。作为IDFs的构建模块，我们引入了一个灵活的转换层，称为整数离散耦合。我们的实验表明，IDFs与其他基于流的生成模型具有竞争力。此外，我们证明了基于IDF的压缩在CIFAR10、ImageNet32和ImageNet64上实现了最先进的无损压缩率。据我们所知，这是第一个使用可逆神经网络的无损压缩方法。
2019-12-06 cs.CV cs.LG stat.ML
Learned Lossless Compression for JPEG via Frequency-Domain Prediction
Shanghai Jiao Tong University（上海交通大学）
JPEG图像可以进一步压缩，以增强大规模图像数据集的存储和传输。由于DCT系数和原始像素的分布不同，现有的RGB图像无损压缩器不能很好地转换到JPEG图像。在本文中，我们提出了一个新的框架，学习无损压缩JPEG图像，实现端到端的优化预测解码DCT系数的分布。为了能够在频域中学习，DCT系数被划分为组以利用隐式局部冗余。设计了一种基于权值共享块的类自编码器结构，实现了DCT系数分组的熵建模和先验信息的独立压缩。我们尝试在频域实现JPEG图像的学习无损压缩。实验结果表明，该框架实现了优越的或相当的性能相比，最新的无损压缩机与手工制作的上下文建模的JPEG图像。
2023-03-05 cs.CV cs.LG eess.IV
Llamazip: Leveraging LLaMA for Lossless Text Compression and Training Dataset Detection
ML-Labs（ML实验室）；Dublin City University（都柏林城市大学）；School of Electronic Engineering（电子工程学院）
Llamazip利用LLaMA3实现无损文本压缩和训练数据集检测，通过预测能力优化存储效率并提升数据透明度。
2025-11-16 cs.CL cs.LG
ULPack: Reference-Conditioned Lossless Compression of Checkpoint Trajectories
University of Waterloo（滑铁卢大学）
ULPack是一种基于参考条件的无损编解码器，利用参考权重指数预测位移位长度，在三类浮点轨迹上相比ZipNN、zstd-19、FM-Delta实现了显著的存储压缩提升。
2026-10-14 cs.LG
IDF++: Analyzing and Improving Integer Discrete Flows for Lossless Compression
Google Research（谷歌研究院）
本文分析并改进了适用于无损压缩的整数离散流。离散流是最近提出的一类学习整数值随机变量可逆变换的模型。它们的离散性质使它们特别适合于具有熵编码方案的无损压缩。我们首先调查最近的理论主张，指出离散随机变量的可逆流比连续的同行更不灵活。我们证明了这一说法并不适用于整数离散流，由于有限支持的数据嵌入到可数无限整数格。此外，我们放大梯度偏置的影响，由于直通估计整数离散流，并证明其影响是高度依赖于架构的选择和不突出比以前认为的。最后，我们展示了不同的架构修改如何提高该模型类的性能，用于无损压缩，并且它们还可以实现更有效的压缩：具有一半数量的流层的模型与原始整数离散流模型相当或更好。
2021-03-23 cs.LG stat.ML
Statistically-Lossless Quantization of Large Language Models
ETH Zürich（苏黎世联邦理工学院）；Red Hat AI（红帽人工智能部门）；ISTA（奥地利科学技术研究所）
本文提出统计无损压缩的中间路径，定义任务无损与分布无损的量化标准，证明对称与非对称量化的方差差异，通过SLQ方法实现大语言模型的任务无损、分布无损压缩及1.7-3.7倍推理加速。
2026-08-11 cs.LG
Lossless Image Compression Using a Multi-Scale Progressive Statistical Model
Nokia Technologies（诺基亚科技）；Tampere University（坦佩雷大学）
无损图像压缩是在不允许信息丢失的情况下实现图像存储和传输的重要技术。随着深度学习技术的快速发展，深度神经网络已被用于该领域以实现更高的压缩率。基于逐像素自回归统计模型的方法表现出良好的性能。然而，顺序处理的方式使这些方法在实际中难以应用。最近，多尺度自回归模型已经被提出来解决这个限制。多尺度方法可以有效地使用并行计算系统，并建立实用的系统。然而，这些方法牺牲了压缩性能以换取速度。在本文中，我们提出了一个多尺度渐进统计模型，利用像素的方法和多尺度的方法。我们开发了一种灵活的机制，可以很容易地调整像素的处理顺序。我们提出的方法优于国家的最先进的无损图像压缩方法在两个大的基准数据集上的显着保证金，而不会显着降低推理速度。
2021-08-24 cs.CV cs.LG eess.IV
Lossless Compression: A New Benchmark for Time Series Model Evaluation
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Science and Technology Beijing（北京科技大学）；North China Electric Power University（华北电力大学）；Software Institute of Chinaunicom（中国unicom软件学院）
本文提出以无损压缩作为时间序列模型评估的新范式，基于香农定理建立压缩长度与负对数似然的等价关系，并开源TSCom-Bench框架，实验揭示经典基准忽略的分布性弱点。
2025-09-25 cs.AI cs.LG
A Tutorial on VAEs: From Bayes' Rule to Lossless Compression
变分自动编码器（VAE）是一种简单，高效，流行的深度最大似然模型。虽然VAE的使用是广泛的，但VAE的推导并没有被广泛理解。在本教程中，我们将提供VAE的概述，并通过VAE目标的各种推导和解释进行游览。从概率的角度来看，我们将通过贝叶斯规则，重要性采样和变量变化公式来检查VAE。从信息论的观点来看，我们将通过无损压缩和通过噪声信道传输的镜头来检查VAE。然后，我们将确定两个常见的误解VAE制定和他们的实际后果。最后，我们将使用玩具2D数据上的代码示例（附带一个笔记本）可视化VAE的功能和限制。
2020-06-30 cs.LG stat.ML
Lossless Compression of Deep Neural Networks
Bucknell University（巴克内尔大学）；The University of Utah（犹他大学）
深度神经网络在许多预测建模任务中取得了成功，例如图像和语言识别，其中大型神经网络通常用于获得良好的准确性。因此，在有限的计算资源下（例如在移动设备中）部署这些网络是具有挑战性的。在这项工作中，我们引入了一种算法，该算法删除神经网络的单元和层，同时不改变产生的输出，因此意味着无损压缩。这种算法，我们表示为LEO（无损表达优化），依赖于混合线性规划（MILP）来识别在输入域上具有线性行为的整流线性单元（ReLU）。通过使用L1正则化来诱导这种行为，我们可以从更大的架构上进行训练中受益，而不是稍后在部署经过训练的神经网络的环境中使用。
2020-02-22 cs.DS cs.LG math.OC
Reducing the GPU Memory Bottleneck with Lossless Compression for ML -- Extended
University of Washington（华盛顿大学）
提出无损压缩算法IBP，通过识别和消除张量组中的不变位，利用GPU优化的解压缩和异步PCIe传输，显著减少数据传输时间，加速GNN训练、DLRM嵌入查找和LLM推理。
2026-05-29 cs.DC cs.LG
NeuralZip: Reusable Setup for Fast Lossless Compression
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Chile（智利大学）；National Center for Artificial Intelligence (CENIA)（国家人工智能中心（CENIA））
NeuralZip通过预计算并复用指数统计结构，实现快速无损压缩，设置后可转移复用，压缩速度快1.81-21.33倍，内存减少27.5%，且精确重建。
2026-10-08 cs.LG
Lossless Compression of Large Language Model-Generated Text via Next-Token Prediction
MBZUAI（穆扎布伊人工智能研究院）；Imperial College London（伦敦帝国理工学院）
本文首次系统研究面向 LLM 生成文本的无损压缩，利用模型的下一 token 预测能力压缩自身输出，并在 14 个模型和 8 个数据集上验证其超过 20 倍的压缩优势。
2025-05-07 cs.CL cs.LG
Benchmarking Language Modeling for Lossless Compression of Full-Fidelity Audio
University of California, San Diego, Computer Science and Engineering Department（加州大学圣地亚哥分校计算机科学与工程系）；Carnegie Mellon University, School of Computer Science（卡内基梅隆大学计算机科学学院）
提出字节级分词方案Trilobyte，将词汇量从指数级降至常数级，首次实现24位音频的LM无损压缩，并在8位和16位下超越FLAC。
2026-11-03 cs.AI cs.LG cs.SD
OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
显式深度生成模型（DGMs），例如，VAE和标准化流已被证明为无损压缩提供了一种有效的数据建模替代方案。然而，DGMs本身通常需要大的存储空间，因此污染了精确的数据密度估计带来的优势。为了消除为不同目标数据集保存单独模型的要求，我们提出了一种新的设置，该设置从预训练的深度生成模型开始，并压缩数据批次，同时仅在一个时期内使用动态系统调整模型。我们正式这个设置为单镜头在线适应（OSOA）的DGMs的无损压缩，并提出了香草算法在此设置下。实验结果表明，与训练定制模型相比，香草OSOA可以节省大量时间，与对所有目标使用一个模型相比，可以节省空间。在相同的自适应步长或自适应时间下，vanilla OSOA可以表现出更好的空间效率，例如，与微调预训练模型并保存微调后的模型相比，$47\%$占用的空间更少。此外，我们展示了潜力的OSOA和激励更复杂的OSOA算法，显示进一步的空间或时间效率与多个更新每批和早期停止。
2021-11-02 cs.AI cs.LG
Lossless Token Sequence Compression via Meta-Tokens
AWS AI Labs（AWS人工智能实验室）；Amazon（亚马逊）；Rutgers University（罗格斯大学）；University of California Los Angeles（加州大学洛杉矶分校）
本文提出一种类似LZ77的任务无关无损提示压缩技术，通过元令牌减少LLM输入序列长度，在严格保留语义的任务上显著降低编码计算量且性能损失极小。
2025-08-20 cs.AI cs.CL cs.LG
Practical Full Resolution Learned Lossless Image Compression
ETH Zürich（苏黎世联邦理工学院）
我们提出了第一个实用的学习无损图像压缩系统，L3 C，并表明它优于流行的工程编解码器，PNG，WebP和JPEG 2000。我们方法的核心是一个用于自适应熵编码的完全可并行化的分层概率模型，该模型针对压缩任务进行了端到端优化。与最近的自回归离散概率模型（如PixelCNN）相比，我们的方法i）与学习的辅助表示联合建模图像分布，而不是专门在RGB空间中建模图像分布，ii）只需要三次向前传递来预测所有像素概率，而不是每个像素一次。因此，与最快的PixelCNN变体（Multiscale-PixelCNN）相比，L3 C在采样时获得了超过两个数量级的加速。此外，我们发现学习辅助表示是至关重要的，并且显著优于预定义的辅助表示，例如RGB金字塔。
2020-03-06 cs.CV cs.LG eess.IV
Huff-LLM: End-to-End Lossless Compression for Efficient LLM Inference
New York University（纽约大学）；University of Notre Dame（圣母大学）
针对大型语言模型在边缘设备上部署困难且有损压缩会不可预测地改变模型行为的问题，提出端到端无损压缩方法Huff-LLM，通过在各层存储中压缩权重，实现内存节省并提升推理延迟与能效。
2025-02-02 cs.AR cs.LG
Lossless Point Cloud Geometry and Attribute Compression Using a Learned Conditional Probability Model
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）
本文提出一种基于稀疏张量深度神经网络的无损点云压缩方法，统一表示几何与颜色属性，构建自回归上下文模型，相比MPEG方法总比特率降低22.6%。
2024-03-20 cs.LG eess.IV
ENEC: A Lossless AI Model Compression Method Enabling Fast Inference on Ascend NPUs
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出ENEC，一种专为AI模型权重优化的无损压缩方法，通过块级固定长度编码和NPU特定优化，提升Ascend NPUs的压缩比和吞吐量，实现比现有GPU压缩器更高的性能。
2026-04-07 cs.AR cs.DC cs.LG
Accelerating Distributed Deep Learning using Lossless Homomorphic Compression
UT Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）；Airbnb（爱彼迎）
提出一种无损同态压缩算法，将worker级压缩与网内聚合相结合，无需CPU/GPU处理即可高效聚合且不损失训练精度，在多种DNN模型上显著提升了聚合吞吐量和训练速度。
2024-02-12 cs.DC cs.DS cs.LG
Lossless (and Lossy) Compression of Random Forests
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）
包围方法是最先进的预测建模方法之一。应用于现代大数据，这些方法通常需要大量的子学习器，其中每个学习器的复杂性通常随着数据集的大小而增长。这种现象导致对存储空间的需求增加，这可能非常昂贵。这个问题主要表现在基于订户的环境中，其中用户特定的系综需要存储在具有严格存储限制的个人设备（诸如蜂窝设备）上。在这项工作中，我们介绍了一种新的无损压缩基于树的集成方法，专注于随机森林。我们建议的方法是基于概率建模的合奏的树木，然后通过Bregman分歧模型聚类。这使我们能够找到一个最小的模型集，它提供了对树的准确描述，同时又足够小，可以存储和维护。我们的压缩方案在各种现代数据集上展示了高压缩率。重要的是，我们的方案可以从压缩格式进行预测，并完美地重建原始系综。此外，我们引入了一个理论上健全的有损压缩计划，这使得我们能够控制失真和编码率之间的权衡。
2018-10-26 cs.LG stat.ML
TurboAngle: Near-Lossless KV Cache Compression via Uniform Angle Quantization
LLMs Research Inc.（LLMs研究公司）
本文提出通过在快速沃尔什- Hadamard域中量化角度来压缩KV缓存条目，采用随机对角旋转使连续元素对在单位圆上近似均匀分布。通过每层早期提升技术，独立配置每层K和V代码本大小，为模型特定的关键层分配更高精度，实现四模型无损压缩和六模型近无损质量压缩。
2026-03-29 cs.AI cs.LG
FineZip : Pushing the Limits of Large Language Models for Practical Lossless Text Compression
UC Berkeley（加州大学伯克利分校）；NYU（纽约大学）
本文提出基于LLM的FineZip文本压缩系统，结合在线记忆与动态上下文，将压缩时间较LLMZip缩短54倍，同时压缩率提升约50%，推动无损文本压缩实用化。
2024-09-25 cs.AI cs.CL cs.LG
Lossless Compression of Neural Network Components: Weights, Checkpoints, and K/V Caches in Low-Precision Formats
Intel（英特尔）
本文将ZipNN无损压缩方法从FP32/BF16扩展到FP8和FP4低精度格式，通过分离压缩指数与尾数实现BF16最高62%、FP8最高83%的压缩率，并发现LLM的K/V缓存同样具有可压缩性。
2025-08-20 cs.AI cs.LG cs.NE
Lossless Compression of Vector IDs for Approximate Nearest Neighbor Search
Meta
本文提出基于非对称数字系统或小波树的无损压缩方案，利用ID顺序无关性压缩向量ID达7倍，在十亿级数据集上减少索引大小30%，且不影响精度或搜索时间。
2025-01-16 cs.DB cs.IR cs.LG
LoMA: Lossless Compressed Memory Attention
Deepglint Inc.（深格灵公司）；Peking University（北京大学）
LoMA通过训练与生成算法实现KV缓存无损压缩，在单次推理中降低长上下文LLM的内存与计算开销。
2024-02-04 cs.CL cs.LG
SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving
University of Notre Dame IN, USA（诺丁汉大学）
SplitZip通过GPU友好的无损压缩技术，提升大规模LLM服务中KV缓存的传输效率，实现快速压缩和解压，显著优于现有方法。
2026-06-25 cs.AI cs.DC cs.LG
ZipServ: Fast and Memory-Efficient LLM Inference with Hardware-Aware Lossless Compression
The Hong Kong University of Science（香港科学与技术大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
ZipServ通过硬件感知的无损压缩技术，提升LLM推理效率，减少内存占用，实现比cuBLAS快2.21倍的内核速度和1.22倍的端到端推理加速。
2026-03-18 cs.AR cs.DC cs.LG
Multiscale deep context modeling for lossless point cloud geometry compression
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupelec（中央理工-高等电力学院）；Laboratoire des Signaux et Systèmes（信号与系统实验室）
我们提出了一种用于无损点云几何压缩的实用深度生成方法，称为MSVoxelDNN，并表明与MPEG G-PCC编解码器相比，它显着降低了速率。我们之前基于自回归模型（VoxelDNN）的工作具有快速的训练阶段，然而，由于占用概率是逐体素顺序预测的，因此推理速度很慢。在这项工作中，我们采用了多尺度架构模型体素占用粗到细的顺序。在每个尺度下，MSVoxelDNN将体素分为八个条件独立的组，因此需要对每组进行单个网络评估，而不是对每个体素进行一次评估。我们评估了MSVoxelDNN在一组来自微软体素化上半身（MVUB）和MPEG的点云上的性能，结果表明，与以前的VoxelDNN相比，目前的方法大大加快了编码/解码时间，同时比G-PCC节省了17.5%的平均速率。该实现可在https://github.com/Weafre/MSVoxelDNN上获得。
2021-04-20 cs.LG eess.IV
