Almost-lossless compression of a low-rank random tensor
Huawei Research Center（华为研究中心）
在这项工作中，我们建立了一个渐近极限的几乎-无损压缩的随机，有限的字母表张量，它允许一个低秩的规范polyadic分解。
2022-10-23 cs.IT cs.LG eess.SP
A Universal Grammar-Based Code For Lossless Compression of Binary Trees
我们考虑的问题，无损压缩的二进制树，目的是减少存储或传输这样的树所需的代码位数。提出了一种基于无损文法的编码方法，它将每棵二叉树分两步编码成一个二进制码字。在第一步中，树被转换成上下文无关文法，从该文法可以重建树。在第二步骤中，将上下文无关文法编码成二进制码字。基于语法的代码的解码器通过颠倒两个编码步骤来从原始树的码字解码原始树。结果表明，所得到的基于语法的二叉树压缩码是一个通用的代码上的一个家庭的概率二叉树源模型满足一定的弱限制。
2013-04-27 cs.IT math.IT
Lossless and Near-Lossless Compression for Foundation Models
IBM Research（IBM研究院）；Tel-Aviv University（特拉维夫大学）；MIT（麻省理工学院）；Boston University（波士顿大学）；Dartmouth University（达特茅斯大学）
研究基础模型的无损与近无损压缩方法，通过定制压缩变体和可调有损技术，显著减少模型存储与网络传输开销，且对准确度影响极小。
2024-04-05 cs.IT cs.LG math.IT
Data Discovery Using Lossless Compression-Based Sparse Representation
稀疏表示在数据压缩、信号和图像去噪、降维、计算机视觉等领域有着广泛的应用。虽然多维数据的稀疏表示需要过完备字典，但正交基可以很好地表示一维数据。在本文中，我们提出了一个数据驱动的稀疏表示使用正交基无损压缩约束下。我们表明，施加这样的约束下的最小描述长度（MDL）的原则，导致一个独特的和最佳的稀疏表示一维数据，这导致在数据发现有用的判别功能。
2021-03-17 cs.IT eess.SP math.IT
A Lossless Compression Technique for the Downlink Control Information Message
本文提出基于transformer模型与Arithmetic coding的无损压缩方法，利用DCI消息的时空相关性，在单小区调度场景下比Huffman coding压缩比提升21.7%，有效提升5G控制平面容量与可靠性。
2024-07-23 cs.IT math.IT
A Novel Scheme to Improve Lossless Image Coders by Explicit Description of Generative Model Classes
在这项研究中，我们提出了一个新的计划，系统的改进无损图像压缩编码器的角度来看，在信息论的通用代码。在该方案中，我们描述了一个生成模型类的图像作为一个随机模型。使用贝叶斯码，我们能够构造一个无损图像压缩编码器，这是最佳的贝叶斯准则下的模型类描述适当。由于压缩编码器对于假设的模型类是最佳的，因此我们能够专注于模型类的扩展。为了验证所提出的方案的效率，我们构建了一个无损图像压缩编码器，实现了约19.7%的减少以前的编码器的平均编码率。
2019-04-16 cs.IT math.IT
Achieving the Fundamental Limit of Lossless Analog Compression via Polarization
针对独立同分布非奇异信号，提出部分 Hadamard 压缩与模拟 SC 解码器，利用 MAP 错误概率极化达到无损模拟压缩的信息论基本极限。
2024-01-19 cs.IT math.IT
Lossless Compression of Time Series Data: A Comparative Study
本研究通过统一框架和消融实验，系统比较了多种无损压缩方法在时间序列数据上的性能，强调了完整压缩流水线配置的重要性，并为不同数据集提供了算法选择指南。
2025-10-08 cs.IT math.IT
Lossless Compression with Security Constraints
探讨了存在窃听者时的安全分布式数据压缩。需要可靠地传输到合法接收器的两个相关源可在不同的编码器处使用。被认为是无噪声，有限的速率从编码器到合法的接收器，其中之一也可以完美地观察到的窃听器的链接。窃听者也有自己的相关观察。给出了可实现的压缩模糊率区域的内界和外界。还考虑了涉及发射机处的边信息以及多个接收机/窃听者的几种不同场景。
2008-05-20 cs.IT math.IT
Efficient sequential compression of multi-channel biomedical signals
本文提出了多通道生物医学信号的无损和近无损压缩算法。该算法是顺序的和有效的，这使得他们适合于低延迟和低功耗的信号传输应用。我们利用信息论和信号处理工具（如通用编码，通用预测，和快速在线实现的多元递归最小二乘法），结合简单的方法来利用空间以及时间冗余通常存在于生物医学信号。公开可用的脑电图和心电图数据库的算法进行测试，在所有情况下，超过了目前的最先进的近无损和无损压缩比。
2016-05-14 cs.IT math.IT
Optimal Universal Lossless Compression with Side Information
本文提出了Lempel-Ziv（LZ）算法的条件版本的压缩器和解压缩器可以访问相同的边信息的设置。我们提出了一个固定长度的解析LZ算法的边信息，Willems算法的动机，并证明了任何平稳过程的最优性。此外，我们还提出了降低数据压缩率的改进策略。提出了一种带边信息的变长解析LZ算法的改进，并证明了该算法对任何平稳遍历过程都是渐近最优的。
2017-07-18 cs.IT math.IT
Lossless Data Compression at Finite Blocklengths
本文对变长无损压缩中的最佳可达速率（以及其他相关的基本限制）的行为进行了广泛的研究。在非渐近制度中，固定到变量的无损压缩与前缀的约束和没有的基本限制被证明是紧密耦合。几个精确的，定量的界限推导出，连接的最佳codelestrant的源信息谱的分布，并给出了任意源的最佳可实现的速率的精确分析。精细的渐近结果证明任意（不一定前缀）压缩一般混合源。非渐近的，明确的高斯近似界建立的最佳可达速率的马尔可夫源。定义并表征了源色散和源变熵率。与熵率一起，变熵率用于紧密地近似固定到可变压缩的基本非渐近极限，除了非常小的块长度。
2012-12-11 cs.IT math.IT math.PR
The Twelvefold Way of Non-Sequential Lossless Compression
许多信息源不仅仅是可区分符号的序列，而是具有由诸如排列、组合和划分之类的替代计数范例支配的不变性。我们认为，这些不变量的一个完整的分类称为枚举组合学的十二倍的方式，并开发一种方法来表征无损压缩限制。对于i.i.d.，对所有12个设置进行了显式计算。均匀分布和伯努利分布。不同环境之间的比较提供了定量的洞察力。
2021-01-20 cs.IT math.IT
AlphaZip: Neural Network-Enhanced Lossless Text Compression
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
本文提出一种基于LLM的无损文本压缩方法AlphaZip，通过transformer块预测并结合标准压缩算法处理预测排名，实验证明其性能优于传统信息论基线。
2024-09-23 cs.AI cs.IT cs.LG
Lossless Compression with Latent Variable Models
University College London（伦敦大学学院）
我们开发了一个简单而优雅的方法，无损压缩使用潜变量模型，我们称之为“位回与非对称数字系统”（BB-ANS）。该方法包括交织编码和解码步骤，并在压缩批量数据时实现最佳速率。我们首先证明了它的MNIST测试集上，表明国家的最先进的无损压缩是可能的，使用一个小的变分自编码器（VAE）模型。然后，我们利用一种新的经验见解，即在小图像上训练的完全卷积生成模型能够推广到任意大小的图像，并将BB-ANS扩展到分层潜变量模型，从而实现对ImageNet数据集的全尺寸彩色图像的最先进的无损压缩。我们描述“Craystack”，一个模块化软件框架，我们已经开发了快速原型压缩使用深生成模型。
2021-04-22 cs.AI cs.IT cs.LG
Lossless Image Compression Using Multi-level Dictionaries: Binary Images
该研究提出一种基于多级字典的二值图像无损压缩方案，通过学习多尺寸像素模式字典实现编码，在压缩性能上显著优于WebP、现有学习类方案及JBIG2，为低复杂度且有性能保障的无损压缩提供了新思路。
2024-09-11 cs.CV cs.IT cs.LG
Universal Lossless Data Compression Via Binary Decision Diagrams
长度为$2^k$的二进制字符串导出$k$变量的布尔函数，其香农展开式是给定的二进制字符串。这个布尔函数可以通过一个唯一的降序二元决策图（ROBDD）来表示。给定的二进制字符串可以从这个ROBDD中完全恢复。我们展示了一种无损数据压缩算法，其中长度为2的幂的二进制串通过如上所述的与其相关联的ROBDD的压缩来压缩。我们表明，当二进制字符串的长度$n$ 2的幂通过该算法压缩，最大逐点冗余/样本相对于任何s-状态的二进制信息源的上界$(4\log_2s+16+o(1))/\log_2n $。为了建立这个结果，我们利用Liaw和Lin的结果，指出$k$变量的布尔函数的ROBDD表示包含$(2+o(1))2^{k}/k$阶的多个顶点。
2011-11-06 cs.IT math.IT
iFlow: Numerically Invertible Flows for Efficient Lossless Compression via a Uniform Coder
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
据估计，到2020年，全球将产生$59 ZB$（$5.9 \times 10^{13} GB$）数据，这将导致数据存储和传输的巨大成本。幸运的是，深度生成模型的最新进展已经引领了一类新的所谓的“神经压缩”算法，它在压缩比方面明显优于传统的编解码器。不幸的是，由于其有限的带宽，神经压缩的应用几乎没有商业利益;因此，开发高效的框架具有至关重要的实际意义。在本文中，我们讨论了无损压缩使用规范化流已被证明是一个很大的能力，实现高压缩比。因此，我们引入iFlow，一种实现高效无损压缩的新方法。我们首先提出了模尺度变换（MST）和一个新的家庭的数字可逆的流动变换的基础上MST。然后，我们介绍了统一的基础转换系统（UBCS），一个快速的均匀分布的编解码器纳入iFlow，实现有效的压缩。iFlow实现了最先进的压缩比，并且$5\times$比其他高性能方案更快。此外，本文中提出的技术可以用来加速编码时间的一个广泛的类基于流的算法。
2021-11-01 cs.IT cs.LG math.IT
Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables
University of California, Berkeley（加州大学伯克利分校）
比特回退的论点表明，潜在变量模型可以变成无损压缩方案。然而，对于一般的潜变量模型，将比特回退参数转换成有效和实用的无损压缩方案仍然是一个悬而未决的问题。Townsend等人（2019）最近提出的非对称数字系统位回编码（BB-ANS）使得位回编码对于具有一个潜在层的潜在变量模型实际上是可行的，但对于分层潜在变量模型来说效率低下。在本文中，我们提出了比特交换，一个新的压缩方案，推广BB-ANS，并实现严格更好的压缩率与马尔可夫链结构的层次潜变量模型。通过实验，我们验证了比特交换的结果在无损压缩率是经验优于现有的技术。我们的实现可以在https://github.com/fhkingma/bitswap上获得。
2019-10-02 cs.AI cs.IT cs.LG
Application of Lossless Data Compression Techniques to Radio Astronomy Data flows
射电天文学的现代实践的特点是极端的数据量和速率，主要是因为可以实现的信噪比和需要奈奎斯特采样的支持方式所需的RF带宽之间的直接关系。这些数据流的传输成本高昂。通过研究典型数据流的统计性质并应用信息论领域的公知技术，以下工作表明，典型射电天文学数据流的无损压缩在理论上是可能的。确定可能压缩程度的关键参数是数据的标准差。压缩的实际应用可以证明有利于降低新一代仪器（如平方公里阵列）的数据传输和（可以说）存储成本。
2014-05-22 astro-ph.IM cs.IT math.IT
LLMZip: Lossless Text Compression using Large Language Models
Texas A&M University（得克萨斯农工大学）
本文利用大型语言模型LLaMA-7B预测下一token，提出了英语熵渐近上界的新估计，并据此设计了一种优于BSC、ZPAQ和paq8h的无损文本压缩算法。
2023-06-26 cs.CL cs.IT cs.LG
Synchronizing Probabilities in Model-Driven Lossless Compression
Analog Garage（模拟车库）；Analog Devices, Inc.（亚德诺半导体）
本文提出PMATIC算法，通过同步概率缓解模型驱动压缩中的预测不匹配问题，实现更高效的压缩性能。
2026-03-07 cs.IT math.IT
Multi-Scale Architectures Matter: On the Adversarial Robustness of Flow-based Lossless Compression
作为一种概率建模技术，基于流的模型在无损压缩领域\cite{idf,idf++,lbb,ivpf,iflow}，.与其他深度生成模型（例如，自回归（VAE）\cite{bitswap,hilloc,pixelcnn++,pixelsnail}显式地对数据分布概率进行建模，基于流的模型由于其出色的概率密度估计和令人满意的推理速度而表现得更好。在基于流的模型中，多尺度结构提供了一条从浅层到输出层的捷径，显著降低了计算复杂性，避免了增加更多层时的性能下降。这对于构建一个先进的基于流的可学习双射映射是必不可少的。此外，在实际的压缩任务的模型设计的轻量级要求表明，流与多尺度架构实现编码复杂性和压缩效率之间的最佳权衡。
2022-08-26 cs.CV cs.IT math.IT
Study On Universal Lossless Data Compression by using Context Dependence Multilevel Pattern Matching Grammar Transform
本文提出了上下文相关多级模式匹配（context dependence multilevel pattern matching，简称CDMPM）文法变换，并在此文法变换的基础上，提出了一种通用的无损数据压缩算法--CDMPM码。此外，我们得到了该算法的最坏情况下的冗余度的上界之间的所有个人序列的长度为n的有限字母表。
2013-03-20 cs.DM cs.IT math.IT
On Lossless Universal Compression of Distributed Identical Sources
Slepian-Wolf定理是一个众所周知的框架，其目标是对（两个）分布式源的输出之间具有逐符号相关性的（两个）数据流进行几乎无损压缩。然而，本文考虑了一个不同的情况下，不适合在Slepian-Wolf框架。我们考虑两个相同的，但空间分离的源。我们希望研究来自源之一的长度为$n$的序列的通用压缩，假设解码器可以访问（即，存储）来自另一个源的长度为$m$的序列。例如，在对来自同一服务器的多个镜像的数据进行通用压缩时，就会出现这种情况。在这种设置中，相关性不是由来自两个源的两个输出的逐符号依赖性引起的。相反，序列通过它们包含的关于未知源参数的信息而相关。我们表明，手头的压缩问题的有限长度的性质，需要考虑几乎无损信源编码的概念，编码引起的错误概率$p_e(n)$，消失与序列长度$n$。我们得到一个下界的平均极小极大冗余几乎无损码作为序列长度$n$和允许的错误概率$p_e$的函数时，解码器有一个内存长度$m$和编码器不进行通信。我们的结果表明，当两个编码器不通信时，即使解码器知道未知参数向量（即，$m \to \infty$）。
2012-06-19 cs.IT math.IT
ZipNN: Lossless Compression for AI Models
IBM Research（IBM研究院）；IBM；Tel Aviv University（特拉维夫大学）；Boston University（波士顿大学）；MIT（麻省理工学院）；Dartmouth College（达特茅斯学院）
本文提出ZipNN，一种专为神经网络设计的无损压缩方法，在Llama 3等流行模型上相比普通压缩可额外节省17%以上空间，并将压缩与解压缩速度提升62%，有望大幅减少模型下载的网络流量。
2025-06-04 cs.IT cs.LG math.IT
Lossless Compression with Probabilistic Circuits
UCLA（加州大学洛杉矶分校）；University of California, Irvine（加州大学欧文分校）
尽管在图像生成方面取得了广泛的进展，但常见的深度生成模型架构并不容易应用于无损压缩。例如，VAE由于其潜在变量而遭受压缩成本开销。这种开销只能部分消除精心设计的方案，如比特回编码，往往导致单样本压缩率差。为了克服这些问题，我们建立了一类新的易处理的无损压缩模型，允许有效的编码和解码：概率电路（PC）。这些是涉及$|p|$计算单元的一类神经网络，其支持对$D$特征维度的任意子集的有效边缘化，从而实现有效的算术编码。我们得到有效的编码和解码方案，都具有时间复杂度$\mathcal{O} (\log(D) \cdot |p|)$，其中一个天真的计划将在$D$和$|p|$的线性成本，使该方法高度可扩展。根据经验，我们基于PC的（解）压缩算法比实现类似比特率的神经压缩算法快5-40倍。通过扩展传统的PC结构学习管道，我们在MNIST等图像数据集上获得了最先进的结果。此外，PC可以自然地与现有的神经压缩算法集成，以提高这些基础模型在自然图像数据集上的性能。我们的研究结果突出了非标准学习架构可能对神经数据压缩产生的潜在影响。
2022-03-16 cs.IT cs.LG math.IT
User Preference Aware Lossless Data Compression at the Edge
数据压缩是节省数据存储和传输成本的有效技术。然而，传统的数据压缩方法总是忽略用户偏好对链路上传输的符号的统计分布的影响。请注意，随着大数据技术的发展和智能设备的普及，可以根据从个人手机收集的数据分析用户偏好。本文提出了一种用户偏好感知的无损数据压缩方法，称为边缘信源编码，在网络边缘压缩数据。用公式表示优化问题以最小化在边缘信源编码中表示所请求的内容项所需的期望比特数。针对离散用户偏好下的边缘信源编码，提出了基于凸函数差规划算法（DCA）和基于k-means++的码书设计算法。对于连续用户偏好下的边缘信源编码，采用采样方法设计码书。此外，边缘信源编码被扩展到两个用户的情况下，精心设计的码本，以利用组播的机会。理论分析和仿真结果表明，最优码本设计应考虑用户的偏好。
2019-03-29 cs.IT math.IT
Fundamental Limits of Lossless Data Compression with Side Information
考虑了边信息对编码器和解码器都可用的无损数据压缩问题。有限块长度的基本限制的最佳可实现的性能被定义，在两个不同版本的问题：基于参考的压缩，当一个单一的侧信息字符串被重复使用在压缩不同的源消息，和基于对的压缩，其中不同的侧信息字符串用于每个源消息。对于任意的源端信息对，建立了一般的可解性和逆定理。非渐近正态近似扩展证明了最佳速率在基于参考和基于对的设置，无记忆源。这些都是明确的，有限块长度的界限，这是紧到三阶项。扩展显着超出类的无记忆源获得。识别了相关源频散，并建立了其与条件变熵率的关系。有趣的是，基于参考和基于对的压缩中的色散是不同的，并且证明了基于参考的色散通常较小。
2021-02-21 cs.IT math.IT
New Uniform Bounds for Almost Lossless Analog Compression
Wu和Verdú开发了一种几乎无损的模拟压缩理论，其中一个对压缩器和解压缩器施加各种规则性条件，输入信号由（通常是无限熵）平稳随机过程建模。在这项工作中，我们考虑所有平稳随机过程的轨迹在一个规定的一组$\mathcal{S} \subset [0,1]^\mathbb{Z}$的（双）无穷序列，并找到统一的下限和上界的某些压缩率的度量平均维数和平均盒维数。一个重要的工具是最近的Lindenstrauss-Tsukamoto变分原理表示度量平均维数的率失真函数。
2019-06-18 cs.IT math.DS math.IT
Lossless compression with state space models using bits back coding
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）
我们推广的“位回ANS”方法的时间序列模型的潜在马尔可夫结构。这类模型包括隐马尔可夫模型（HHMM）、线性高斯状态空间模型（LGSSM）等。我们提供的实验证据表明，我们的方法是有效的小规模的模型，并讨论其适用性较大规模的设置，如视频压缩。
2021-05-04 cs.AI cs.IT cs.LG
Survey and Taxonomy of Lossless Graph Compression and Space-Efficient Graph Representations
诸如web或社交网络之类的各种图可以包含多达数万亿条边。压缩这些数据集可以通过减少I/O访问量和内存子系统上的压力来加速图形处理。然而，选择一个合适的压缩方法是具有挑战性的，因为存在着大量的技术，算法，域，和压缩图的方法。为了促进这一点，我们提出了一个调查和分类的无损图压缩，这是第一个，尽我们所知，详尽地分析这一领域。此外，我们的调查不仅对现有方案进行了分类，而且还解释了关键思想，讨论了选定作品中的正式基础，并使用三个维度描述了现有压缩方案的空间：研究领域（例如，压缩web图），技术（例如，间隙编码），以及特征（例如，无论给定方案是否以动态图为目标）。我们的调查可以作为一个指导，选择最好的无损压缩方案在给定的设置。
2019-04-27 cs.DM cs.DS cs.IT
Secure Lossless Compression with Side Information
安全的数据压缩在合法的接收器和窃听者的边信息的存在进行了探讨。假设源和接收器之间的无噪声、有限速率链路，其输出可以被窃听者完全观察到。与窃听信道模型相反，在窃听信道模型中，可以通过利用信道中的噪声来建立安全通信，这里使用接收器处的边信息的存在。编码和未编码的边信息都被考虑。在编码边信息的情况下，给出了压缩模糊率区域的内界和外界。在未编码的边信息的情况下，在编码器处的合法接收器的和窃听者的边信息的可用性被考虑，并且压缩模糊率区域被表征为这些情况。结果表明，在编码器的边信息可以增加在窃听器的含糊率。因此，编码器处的边信息被示出为在安全性方面是有用的;这与纯无损数据压缩的情况形成对比，在纯无损数据压缩的情况下，编码器处的边信息将没有帮助。
2008-03-08 cs.IT math.IT
PILC: Practical Image Lossless Compression with an End-to-end GPU Oriented Neural Framework
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）
基于生成模型的图像无损压缩算法在提高压缩比方面取得了巨大的成功。然而，即使使用最先进的AI加速芯片，它们中的大多数的吞吐量也不到1 MB/s，这使得它们无法用于大多数实际应用，这些应用通常需要100 MB/s。在本文中，我们提出了PILC，一个端到端的图像无损压缩框架，实现200 MB/s的压缩和解压缩与一个NVIDIA Tesla V100 GPU，10倍的速度比以前最有效的。为了获得这个结果，我们首先开发了一个AI编解码器，它结合了自回归模型和VQ-VAE，在轻量级设置中表现良好，然后我们设计了一个低复杂度的熵编码器，与我们的编解码器工作得很好。实验表明，在多个数据集上，我们的框架比PNG压缩效果好30%。我们相信这是将AI压缩推向商业用途的重要一步。
2022-06-10 cs.CV cs.IT eess.IV
A Novel Rate Control Algorithm for Onboard Predictive Coding of Multispectral and Hyperspectral Images
预测编码由于其低计算复杂性、适度的存储器要求和在逐像素基础上精确控制质量的能力而对于航天器上的压缩是有吸引力的。传统上，预测压缩集中在无损和近无损操作模式，其中最大误差可以被限制，但压缩图像的速率是可变的。速率控制被认为是预测编码器的一个具有挑战性的问题，这是由于反馈回路中的量化和预测之间的依赖性，以及缺乏将信号的能量打包到几个系数中的信号表示。在本文中，我们表明，它是可能的设计一个速率控制方案旨在板载实现。特别是，我们提出了一个通用的框架来选择量化器在每个空间和光谱区域的图像，以达到所需的目标速率，同时最大限度地减少失真。速率控制算法允许实现有损、近无损压缩和任何介于两者之间的压缩类型，例如，具有近无损约束的有损压缩。虽然这个框架是独立的具体预测所使用的，为了显示其性能，在本文中，我们将其调整到CCSDS-123无损压缩标准所采用的预测，获得一个扩展，允许在一个单一的包中执行无损，近无损和有损压缩。我们表明，速率控制器具有优异的性能，在输出速率，率失真特性的精度方面，是非常有竞争力的国家的最先进的变换编码。
2014-01-14 cs.IT math.IT
Accelerating Lossless Data Compression with GPUs
Huffman压缩是一种统计的、无损的数据压缩算法，它通过给符号分配可变长度的代码来压缩数据，频繁出现的符号被赋予比较少出现的符号更短的代码。这项工作是Huffman算法的一个修改，它允许未压缩的数据被分解成独立的可压缩和可解压缩的块，允许在多个处理器上并行压缩和解压缩。我们使用CUDA API在当前NVIDIA GPU上以及在当前Intel芯片上创建此修改后的算法的实现，并对性能结果进行比较，几乎所有测试都显示出良好的GPU性能。最后，我们讨论了高性能数据压缩在当今的超级计算生态系统的必要性。
2011-06-21 cs.GR cs.IT cs.PF
Row-Centric Lossless Compression of Markov Images
出于最近推出的缩减割集编码（RCC）是否提供了比传统的基于上下文的条件编码与二维马尔可夫结构的源的速率复杂度性能的好处的问题，本文比较了几个行为中心的编码策略，不同的条件的量，以及是否使用模型或经验表中的行块的编码。结论是，至少对于表现出低阶相关性的源，单侧基于模型的条件编码对于给定的复杂度约束优于RCC方法，并且常规的基于上下文的条件编码几乎与单侧基于模型的编码一样好。
2017-02-26 cs.IT math.IT
Practical Lossless Compression with Latent Variables using Bits Back Coding
University College London（伦敦大学学院）
深度潜变量模型最近在许多数据领域取得了成功。无损压缩是这些模型的一种应用，尽管其具有非常有用的潜力，但还没有以实际的方式实现。我们提出了"位回ANS"（BB-ANS），一个计划，以执行无损压缩与潜变量模型在一个接近最佳的速率。我们证明了这个方案，使用它来压缩MNIST数据集与变分自动编码器模型（VAE），实现压缩率优于标准方法，只有一个简单的VAE。鉴于该计划是非常适合并行化，我们的结论是，有一个足够高的质量生成模型，该计划可以用来实现可接受的运行时间在压缩率的大幅改善。我们在www.example.com上提供了我们的实现。
2019-01-15 cs.AI cs.IT cs.LG
Soft Compression for Lossless Image Coding
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
软压缩是一种无损图像压缩方法，它从信息论和统计分布的角度出发，采用码书的位置和形状对图像进行编码，致力于同时消除编码冗余和空间冗余。本文提出了一个新的概念，可压缩指示函数关于图像，它给出了一个阈值的平均比特数所需的代表一个位置，可以用来揭示软压缩的性能。通过具体的算法和压缩指示值，对二值图像、灰度图像和多分量图像的软压缩进行了研究和分析。人们期望通过应用软压缩可以大大减少传输和存储同类图像时所需的带宽和存储空间。
2020-12-11 cs.AI cs.IT eess.IV
A Universal Lossless Compression Method applicable to Sparse Graphs and Heavy-Tailed Sparse Graphs
图形数据自然地出现在若干现代应用中，包括但不限于互联网图、社交网络、基因组学和蛋白质组学。图形数据的典型大尺寸论证了为此类数据设计通用压缩方法的重要性。在大多数应用中，图形数据是稀疏的，这意味着图中边的数量比$n^2$缩放得更慢，其中$n$表示顶点的数量。尽管在某些应用中，边的数量与$n$成线性比例，但在其它应用中，边的数量远小于$n^2$，但看起来与$n$成超线性比例。我们称前者为稀疏图，后者为重尾稀疏图。本文介绍了一种同时适用于这两类的通用无损压缩方法。我们这样做，采用局部弱收敛框架稀疏图和稀疏图子框架重尾稀疏图。
2021-07-18 cs.IT math.IT math.PR
Lossless Compression via Chained Lightweight Neural Predictors with Information Inheritance
ITMO University（ITMO大学）
本文提出基于链式神经预测器的概率估计架构，利用信息继承机制提升压缩效率，实验表明其在压缩比和吞吐量上优于现有状态最优PAC压缩器。
2026-04-16 cs.IT cs.LG math.IT
Challenges and Solutions in Selecting Optimal Lossless Data Compression Algorithms
Department of Computer Science and Engineering（计算机科学与工程系）；East West University（东西方大学）；Bangladesh University of Business and Technology (BUBT)（孟加拉国商业技术大学）
本文提出整合压缩比、编码与解码时间的加权评分框架，以在多指标约束下客观选择最优无损压缩算法。
2025-09-23 cs.CV cs.IT math.IT
Sharp Second-Order Pointwise Asymptotics for Lossless Compression with Side Information
当相关边信息在编码器和解码器都可用时，确定任意无损压缩算法的最佳可实现性能的问题被检查。对于任意的源端信息对，条件信息密度示出为任意序列的压缩器实现的描述长度提供了一个尖锐的渐近下界。这意味着，对于遍历的源端信息对，条件熵率是该速率的最佳可实现的渐近下界，不仅在期望中，而且概率为1。在适当的混合条件下，证明了中心极限定理和重对数律，描述了二阶渐近最佳可能速率的不可避免的波动。一个理想化的版本Lempel-Ziv编码与边信息是普遍的第一和第二阶渐近最优，在相同的条件下。这些结果的一部分是基于一个新的几乎肯定的不变性原则的条件信息密度，这可能是独立的利益。
2020-05-21 cs.IT math.IT
Lossless data compression by large models
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Science（中国科学院）；Peng Cheng Laboratory（鹏城实验室）；University of Waterloo（滑铁卢大学）；Dalian University of Technology（大连理工大学）；Central China Institute of Artificial Intelligence（中南中国人工智能研究所）；Ningbo Institute of Artificial Intelligence Industry（宁波人工智能产业研究院）
针对6G通信对数据压缩的革命性需求，本文基于LLMs逼近不可计算的Solomonoff归纳这一范式，提出了LMCompress方法，大幅超越现有各类无损压缩算法的压缩率。
2025-04-30 cs.AI cs.IT math.IT
Structure induction by lossless graph compression
这项工作的动机是需要自动化的结构发现在庞大的和不断增长的关系数据的集合通常表示为图形，例如基因组网络。一种新的算法，被称为Graphitour，结构诱导的无损图压缩，并说明了一个明确的和广泛已知的情况下，嵌套结构的DNA分子。这项工作扩展到图形一些成熟的方法，语法推理以前只适用于字符串。自底向上图压缩问题与最大基数（非二分）最大基数匹配问题有关。该算法接受各种图形类型，包括有向图和带有标记节点和弧的图。由此产生的结构可以用于表示和分类的图。
2007-03-27 cs.DS cs.IT cs.LG
Verified Reversible Programming for Verified Lossless Compression
University of Amsterdam（阿姆斯特丹大学）
无损压缩实现通常包含两个程序，编码器和解码器，它们需要彼此相反。我们观察到，一类重要的基于非对称数字系统（ANS）的压缩方法在编码器和解码器之间具有共享结构--解码器程序是编码器程序的“反向”--允许两者同时指定由单个可逆函数。为了利用这一点，我们实现了一个嵌入在Agda中的小型可逆语言，我们称之为“Flipper”（可在https：//github.com/j-towns/flipper获得）。Agda支持程序属性的形式化验证，并且我们的可逆语言的编译器（作为Agda宏实现）不仅产生一个编码器/解码器对函数，而且还证明它们彼此是逆的。因此，语言的用户可以“免费”获得形式化验证。我们在本文中给出了Flipper的一个小示例用例，并计划很快发布一个完整的压缩实现。
2022-11-23 cs.AI cs.IT cs.PL
X3: Lossless Data Compressor
X3是一个无损优化的基于字典的数据压缩器。该算法使用字典、上下文建模和算术编码的组合。优化增加了为每个文件找到最合适的参数的能力。即使没有优化，x3也可以压缩数据，其压缩比可与LZMA、zstd或Brotli等最好的字典压缩方法相媲美。
2022-01-01 cs.DS cs.IT cs.MM
Improving Lossless Compression Rates via Monte Carlo Bits-Back Coding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
潜变量模型已成功地应用于无损压缩的比特回退编码算法。然而，比特返回遭受比特率的增加等于近似后验和真实后验之间的KL发散。在本文中，我们将展示如何消除这一差距渐近派生比特回编码算法从更严格的变分界限。其关键思想是利用扩展的空间表示的蒙特卡罗估计的边际似然。天真地应用，我们的计划将需要更多的初始位比标准的位回编码器，但我们展示了如何大大减少这种额外的成本与耦合的潜在空间。当可以利用并行架构时，我们的编码器可以实现比比特回退更好的速率，而几乎没有额外的成本。我们证明了改进的无损压缩率在各种设置，特别是在分布或顺序数据压缩。
2021-06-15 cs.AI cs.IT cs.LG
A Fast Transformer-based General-Purpose Lossless Compressor
City University of Hong Kong（香港城市大学）；National Taiwan University（台湾大学）
基于深度学习的压缩机由于压缩比的大幅提高而受到关注。然而，现代方法遭受长的执行时间。为了解决这个问题，本文的目标是减少基于深度学习的压缩器的执行时间。顺序地构建历史依赖性（例如，递归神经网络）负责长的推理延迟。相反，我们将Transformer引入深度学习压缩器，以并行构建历史依赖关系。然而，现有的Transformer计算量太大，与压缩任务不兼容。提出了一种基于单层Transformer的快速通用无损压缩器TRACE。首先，我们设计了一个新的度量建议压缩模型结构的选择部分。为了充分利用单层Transformer的容量，进一步提出了字节分组和Shared-ffn方案。这些功能使TRACE能够实现具有竞争力的压缩比和更快的速度。此外，我们进一步加快压缩过程中，通过设计一个控制器，以减少参数更新的开销。实验表明，TRACE实现了整体$\sim$ 3倍的加速，同时保持了与最先进的压缩机相当的压缩比。TRACE的源代码和数据集的链接可在https://github.com/mynotwo/A-Fast-Transformer-based-General-Purpose-LosslessCompressor上获得。
2022-04-01 cs.IT cs.LG math.IT
Universal Lossless Compression of Graphical Data
图形数据由在其边和顶点上具有标记的图组成。该标记指示与相应边或顶点相关联的某些属性的值。这种数据的例子出现在社交网络、分子和系统生物学、网络图以及其他几个应用领域。我们的目标是设计方案，可以有效地压缩这种图形数据，而不对它的随机特性的假设。也就是说，我们希望开发一个通用的压缩算法的图形数据源。为了形式化这一目标，我们采用的框架，局部弱收敛，也被称为客观的方法，它提供了一种技术，认为一个标记图作为一种平稳的随机过程，相对于图的顶点之间的运动是平稳的。在最近的工作中，我们已经推广了熵的概念，在这个框架中，由于Bordenave和Caputo，标记图的情况下，未标记的图形。我们使用这个概念来评估压缩方案的效率。我们提出的无损压缩方案，在本文中，然后被证明是普遍最优的，在一个精确的技术意义。它还能够以压缩形式执行本地数据查询。
2019-09-21 cs.IT math.IT math.PR
Seq2Seq2Seq: Lossless Data Compression via Discrete Latent Transformers and Reinforcement Learning
Department of Computer Engineering（计算机工程系）；University of Guilan（加兹万大学）
Seq2Seq2Seq利用强化学习和T5模型实现高效无损数据压缩，通过保留token结构提升压缩比和语义完整性。
2026-02-12 cs.AI cs.CL cs.IT
Reversible Denoising and Lifting Based Color Component Transformation for Lossless Image Compression
由提升步骤（LS）组成的可逆颜色空间变换的不期望的副作用是，在去除相关性的同时，它用来自其他分量的噪声污染变换的分量。噪声特别不利地影响无损压缩算法的压缩比。为了在不增加噪声的情况下去除相关性，提出了一种可逆的去噪提升步骤（RDLS），将去噪滤波器集成到LS中。将RDLS应用于颜色空间变换导致一种新的图像分量变换，该变换是完全可逆的，尽管涉及固有的不可逆去噪;本文提出了这种变换的第一个应用。对于无损模式下的JPEG-LS、JPEG 2000和JPEG XR标准算法，将RDLS应用于具有简单去噪滤波器的RDgDb颜色空间变换对于采集设备的固有光学分辨率下的图像尤其有效。当未修改的颜色空间变换与未变换的图像相比提高或降低比率时，它导致提高所有这些图像的压缩比。对于三组这样的图像中的两组，平均改善为5.0- 6.0%，而来自标准测试集的图像的平均比率改善高达2.2%。为了有效的图像自适应确定过滤器的RDLS，一对夫妇的快速熵为基础的压缩效果的估计，可以独立于实际的压缩算法进行了研究，并介绍了一种即时的过滤器选择方法的基础上的检测器精度特性模型驱动的图像采集参数。
2020-05-04 cs.IT cs.MM math.IT
Diffuse to Compress: Leveraging Diffusion LMs for Lossless Compression
该研究针对无损文本压缩的吞吐量瓶颈，首次引入扩散语言模型（DLM）替代自回归LLM，设计策略解决算法挑战，在enwik8数据集上推进了无损文本压缩的现有技术水平。
2026-08-13 cs.AI cs.CL cs.IT
Near Lossless Time Series Data Compression Methods using Statistics and Deviation
在过去的二十年里，由于最新技术的实现，包括物联网（IoT），电子健康，工业物联网4.0，自动驾驶汽车等，数据汇集取得了巨大的增长。数据传输和存储的挑战可以通过利用最先进的数据压缩方法来解决。最近的数据压缩方法是使用深度学习方法提出的，其性能优于传统方法。然而，这些方法需要大量的数据和资源进行训练。此外，由于IoT设备的资源受限性质，难以在IoT设备上实现这些基于深度学习的解决方案。本文提出了基于数据统计和偏差的轻量级数据压缩方法。所提出的方法在压缩比（CR）方面比深度学习方法表现更好。我们模拟和比较了各种时间序列信号的拟议数据压缩方法，例如，特别地，观察到所提出的方法对于GYS、Gactive和ACM数据集分别比深度学习方法实现高250.8\%、94.3\%和205\%的CR。代码和数据可在https://github.com/vidhi0206/data-compression上获得。
2022-09-30 cs.IT eess.SP math.IT
