Lossy Source Compression of Non-Uniform Binary Sources Using GQ-LDGM Codes
本文研究了GF（q）量化LDGM码在二进制信源编码中的应用。通过采用量化，可以获得具有非均匀分布的二进制码字。因此，所获得的统计适合于非均匀伯努利源的最佳，直接量化。我们采用了一个消息传递算法结合了抽取过程，以执行压缩。基于具有规则度分布的GF（q）-LDGM码的实验结果产生的性能非常接近理论率失真界。
2010-07-08 cs.IT math.IT
Bounding Lossy Compression using Lossless Codes at Reduced Precision
提出了一种两部分“临界压缩”的替代方法。而以前的结果是基于减少精度的无损码与有损压缩的误差或噪声项求和，本方法使用减少精度的类似无损码来建立绝对界限，其约束应用于原始数据的任意有损数据压缩算法。
2012-12-31 cs.IT cs.MM math.IT
Lossy Compression via Sparse Regression Codes: Generalized Construction and Finite-length Bounds
Duke University（杜克大学）；University of Cambridge（剑桥大学）
该研究针对有损压缩问题，广义化了稀疏回归码（SPARCs）的构造，推导了平方误差失真的非渐近界，优化功率分配提升了SPARCs的有限长度性能，为其低复杂度变体提供了失真保证。
2026-08-17 cs.IT math.IT
Structural Entropy of the Stochastic Block Models
随着图形和网络的快速扩展以及来自所有科学领域的数据量的不断增长，对上下文相关数据的有效处理和压缩方案是极其需要的。一个特别有趣的方向是压缩数据，同时只保留“结构信息”而忽略具体的标签。在这个方向下，Choi和Szpankowski引入了结构（无标号图），使他们能够计算Erdens-Rényi随机图模型的结构熵。此外，他们还提供了一种渐进最优压缩算法，该算法（渐进地）达到了这个熵极限，并在线性时间内按预期运行。本文研究了具有任意个数部件的随机区组模型。事实上，我们定义了一个分区的随机块模型的结构熵，它推广了无标签图的结构熵，并编码的分区信息。然后，我们计算的随机块模型的分区结构熵，并提供了一个压缩方案，渐近达到这个熵的限制。
2021-11-29 cs.IT math.IT
A Novel Scheme to Improve Lossless Image Coders by Explicit Description of Generative Model Classes
在这项研究中，我们提出了一个新的计划，系统的改进无损图像压缩编码器的角度来看，在信息论的通用代码。在该方案中，我们描述了一个生成模型类的图像作为一个随机模型。使用贝叶斯码，我们能够构造一个无损图像压缩编码器，这是最佳的贝叶斯准则下的模型类描述适当。由于压缩编码器对于假设的模型类是最佳的，因此我们能够专注于模型类的扩展。为了验证所提出的方案的效率，我们构建了一个无损图像压缩编码器，实现了约19.7%的减少以前的编码器的平均编码率。
2019-04-16 cs.IT math.IT
Efficient LDPC Codes over GF(q) for Lossy Data Compression
本文研究了二进制对称信源的有损压缩。我们提出了一个方案，提供了一个低复杂度的有损压缩机与接近最佳的经验性能。该方案基于GF（q）上的b-约简超稀疏LDPC码。编码是由增强的信念传播算法，信念传播的变体。编码器的计算复杂性为O（<d>.n.q.log q），其中<d>是校验节点的平均度。对于我们的代码集成，解码可以迭代地执行叶去除算法的逆步骤。对于一个稀疏的奇偶校验矩阵，所需的操作数为O（n）。
2011-10-07 cs.IT math.IT
Subset-Universal Lossy Compression
如果对于每个$0<R'< R$，其码字的$2^{nR'}$的几乎每个子集都实现接近源的失真率函数$D(R')$的平均失真，则对于离散无记忆源$S$的具有速率$R$的有损源代码$\mathcal{C}$被称为子集泛的。本文证明了这类码的渐近存在性。此外，我们证明了一个代码的渐近存在性，是子集普遍的所有来源具有相同的字母表。
2015-03-12 cs.IT math.IT
Typical Performance of Irregular Low-Density Generator-Matrix Codes for Lossy Compression
我们评估的典型性能的不规则低密度生成矩阵（LDGM）码，这是由稀疏矩阵定义的任意不规则比特度分布和任意检查度分布，用于有损压缩。我们应用一步复本对称性破缺（1 RSB）下的副本方法来解决这个问题。
2009-02-16 cond-mat.dis-nn cs.IT math.IT
RNA secondary structures: from ab initio prediction to better compression, and back
在本文中，我们将生物领域知识结合到随机模型中用于从头RNA二级结构预测，以改进RNA序列和结构数据的联合压缩的现有技术（Liu等人，BMC Bioinformatics，2008）。此外，我们表明，相反，压缩比可以作为比较不同随机模型预测质量的廉价且强大的代理，这可能有助于指导寻找更好的RNA结构预测模型。我们的研究结果建立在RNA二级结构的专家随机上下文无关语法模型（Dowell & Eddy，BMC Bioinformatics，2004; Nebel & Scheid，Theory in Biosciences，2011）上，并结合了不同的（静态和自适应）规则概率和算术编码模型。我们提供了一个原型实现和广泛的实证评估，我们说明了语法功能和概率模型如何影响压缩比。
2023-02-22 cs.IT math.IT q-bio.BM
Optimal Lempel-Ziv based lossy compression for memoryless data: how to make the right mistakes
压缩是指使用比特对数据进行编码，以便表示使用尽可能少的比特。压缩可以是无损的：即，编码数据可以从其表示中精确地恢复），或者是有损的，其中数据比无损情况压缩得更多，但是仍然可以恢复到预定的失真度量内。在本文中，我们证明了Codelet解析，一个准线性时间算法的有损压缩的比特序列是独立和相同的分布（\iid）和汉明失真的最优性。Codelet Parsing将无损Lempel Ziv算法扩展到有损情况--这是信源编码文献近二十年来的一个重点。给定\iid序列$\x$，使得$\x$可以被重构到失真$\dist$内的最短有损表示的预期长度由速率失真函数$\rd$给出。我们证明了Codelet解析算法对于无记忆位序列的有损压缩的最优性。它将输入序列自然地分成短语，用codelet表示每个短语，codelet是一个潜在的长度相同的扭曲短语。长度为$n$的字符串${\x}$的有损表示中的码片具有大致$(\log n)/\rd$的长度，并且像无损Lempel Ziv算法一样，码片解析构造序列长度对数的码本。
2012-10-18 cs.IT math.IT
BICompFL: Stochastic Federated Learning with Bi-Directional Compression
Technical University of Munich（慕尼黑工业大学）；Israel Institute of Technology（以色列理工学院）；Imperial College London（伦敦帝国学院）
本文提出BICompFL方法，通过双向压缩解决随机联邦学习中的通信瓶颈，在保持最先进准确率的同时将通信成本降低一个数量级。
2025-01-31 cs.DC cs.IT cs.LG
Universal Variable-to-Fixed Length Lossy Compression at Finite Blocklengths
我们考虑了具有保真度准则的无记忆信源的通用变长到定长压缩。我们设计了一个字典码本的再现字母表，这是用来解析的源流。一旦源子序列在字典码字的指定失真内，码字的索引就被发出作为再现的串。我们建议的字典由覆盖类型类的边界过渡从低到高的经验损耗率。对于足够大的字典，我们推导出我们的编码方案的ε-编码率（直到三阶项）的渐近性。
2022-11-22 cs.IT math.IT
Efficient data compression from statistical physics of codes over finite fields
本文讨论了一种新的基于q阶伽罗瓦域上腔方法的二元对称信源的数据压缩技术。我们提出了一个低复杂度和接近最佳的经验性能的计划。压缩步骤基于GF（q）上稀疏低密度奇偶检验码的减少，并且通过所谓的增强置信传播方程来完成。这些减少的代码似乎有一个非平凡的几何修改的空间的码字，使这种压缩计算上可行的。每次迭代的计算复杂性为O（d.n.q.log（q）），其中d是校验节点的平均度，n是位数。对于我们的代码集成，解压缩可以在一个时间线性的代码的长度通过一个简单的叶删除算法。
2011-10-13 cond-mat.stat-mech cs.IT math.IT
Optimal Compression for Two-Field Entries in Fixed-Width Memories
数据压缩是在长编码块的设置中被充分研究（并且被充分解决）的问题。但重要的新兴应用程序需要将数据压缩到小的固定宽度的存储器字。这种新的设置是本文的主题。在我们考虑的问题中，我们有两个已知离散分布的源，我们希望找到最大化两个源输出以$L$位或更少位表示的成功概率的代码。这个问题的一个很好的实际用途是存储在固定宽度$L$存储器中的具有两个字段条目的表。这种非常大的表驱动网络交换机和路由器的核心功能。在正式定义问题后，我们用一个有效的代码设计算法来最佳地解决它。我们还解决了在更受约束的情况下，在两个字段中使用单个代码（以节省存储代码字典的空间）的问题。对于这两个代码设计问题，我们发现分解，产生有效的动态编程算法。通过实证研究，我们给出了不同分布和记忆宽度下最优编码的成功概率。特别是，研究表明，新的代码优于现有的压缩算法。
2017-01-11 cs.IT math.IT
Analysis of LDGM and compound codes for lossy compression and binning
最近的工作表明，低密度生成矩阵（LDGM）码可能是有效的有损信源编码的问题。我们推导出严格的上界的有效率失真函数的LDGM码的二进制对称源，表明他们迅速接近率失真函数的程度增加。我们还将标准LDGM结构与我们之前工作中引入的复合LDPC/LDGM结构进行比较和对比，该结构可证明以有限度饱和率失真界限。此外，这种复合结构可用于产生同时作为信源和信道码的嵌套码，因此非常适合于具有辅助信息的信源/信道编码。我们构造的稀疏和高围长的图形结构使它们非常适合消息传递编码。
2006-02-13 cs.IT math.IT
iFlow: Numerically Invertible Flows for Efficient Lossless Compression via a Uniform Coder
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
据估计，到2020年，全球将产生$59 ZB$（$5.9 \times 10^{13} GB$）数据，这将导致数据存储和传输的巨大成本。幸运的是，深度生成模型的最新进展已经引领了一类新的所谓的“神经压缩”算法，它在压缩比方面明显优于传统的编解码器。不幸的是，由于其有限的带宽，神经压缩的应用几乎没有商业利益;因此，开发高效的框架具有至关重要的实际意义。在本文中，我们讨论了无损压缩使用规范化流已被证明是一个很大的能力，实现高压缩比。因此，我们引入iFlow，一种实现高效无损压缩的新方法。我们首先提出了模尺度变换（MST）和一个新的家庭的数字可逆的流动变换的基础上MST。然后，我们介绍了统一的基础转换系统（UBCS），一个快速的均匀分布的编解码器纳入iFlow，实现有效的压缩。iFlow实现了最先进的压缩比，并且$5\times$比其他高性能方案更快。此外，本文中提出的技术可以用来加速编码时间的一个广泛的类基于流的算法。
2021-11-01 cs.IT cs.LG math.IT
A Novel and Efficient Vector Quantization Based CPRI Compression Algorithm
诸如集中式无线电接入网络（C-RAN）的未来无线网络将需要递送当前4G技术的约100至1000倍的数据率。对于基于C-RAN的网络架构，迫切需要极大地增强通用公共无线电接口（CPRI）的有效数据率。CPRI数据的压缩是潜在的增强之一。本文介绍了一种基于矢量量化的CPRI链路压缩算法，利用劳埃德算法。为了提高码书训练的性能，研究了I/Q样本矢量化方法和Lloyd码书训练算法的增强初始化方法。采用多级矢量量化和非均匀保护的多组量化，降低了码书搜索复杂度和码书大小。仿真结果表明，在误差向量幅度（EVM）失真小于2%的情况下，该方案可以实现上行链路4倍压缩和下行链路4.5倍压缩。值得注意的是，矢量量化码本被证明是相当强大的数据调制失配，衰落，信噪比（SNR）和多普勒扩展。
2015-10-16 cs.IT math.IT
Analysis and Enhancement of Lossless Image Compression in JPEG-XL
本文评估并改进 JPEG XL 无损压缩，通过修改代码库发现一种预测方法可在特定图像类型上提升压缩比，为未来无损压缩优化提供参考。
2024-04-30 cs.IT math.IT
User Preference Aware Lossless Data Compression at the Edge
数据压缩是节省数据存储和传输成本的有效技术。然而，传统的数据压缩方法总是忽略用户偏好对链路上传输的符号的统计分布的影响。请注意，随着大数据技术的发展和智能设备的普及，可以根据从个人手机收集的数据分析用户偏好。本文提出了一种用户偏好感知的无损数据压缩方法，称为边缘信源编码，在网络边缘压缩数据。用公式表示优化问题以最小化在边缘信源编码中表示所请求的内容项所需的期望比特数。针对离散用户偏好下的边缘信源编码，提出了基于凸函数差规划算法（DCA）和基于k-means++的码书设计算法。对于连续用户偏好下的边缘信源编码，采用采样方法设计码书。此外，边缘信源编码被扩展到两个用户的情况下，精心设计的码本，以利用组播的机会。理论分析和仿真结果表明，最优码本设计应考虑用户的偏好。
2019-03-29 cs.IT math.IT
Channel Simulation and Coded Source Compression
编码源压缩（Coded source compression），也被称为带助手的源压缩（source compression with helper），是分布式源压缩的一个主要变体，但迄今为止在量子领域很少受到关注。本文通过将信源编码压缩与信道模拟相结合的方法，解决了相应的量子信源编码压缩问题。首先，我们考虑具有量子边信息的经典信源编码，其中量子边信息由助手观察并经由经典信道发送到解码器。我们推导出一个单字母表征的可实现的速率区域这个问题。我们的结果的直接编码定理证明通过测量压缩理论的冬季，量子到经典的信道模拟。我们的研究结果表明，一个助手的计划，分别进行测量和压缩是次优的，测量压缩似乎有必要实现最佳速率区域。然后，我们研究编码源压缩在完全量子制度，其中两种不同的情况下被认为是根据类型的通信信道之间的合法源和接收器。我们进一步允许在这两种情况下从量子助手的纠缠援助。我们描述了所涉及的量子资源，并推导出可实现的速率区域的单字母表达式。直接编码的证明是基于著名的量子协议，量子态合并协议和全量子Slepian-Wolf协议，以及量子反向香农定理。
2019-03-07 cs.IT math.IT quant-ph
Universal Graph Compression: Stochastic Block Models
针对随机块模型图数据，本文通过二维变换与Krichevsky–Trofimov压缩器提出多项式时间的通用无损压缩方案，在四个基准数据集上显著优于现有算法。
2024-05-21 cs.DB cs.IT math.IT
Generalized Difference Coder: A Novel Conditional Autoencoder Structure for Video Compression
运动补偿帧间预测是所有视频编码器的共同组件。该概念在传统的混合编码中建立，并成功地转移到基于学习的视频压缩。为了压缩预测后的残差信号，通常使用标准自动编码器压缩两个信号的差。然而，信息论告诉我们，一般的条件编码器更有效。在本文中，我们提供了一个坚实的基础上的信息论和香农熵显示的潜力，但也有条件编码的限制。在这些结果的基础上，我们提出了广义差分编码器，一个特殊情况下的条件编码器的设计，以避免限制瓶颈。使用此编码器，与标准自动编码器相比，我们能够实现27.8%的平均速率节省，仅增加不到7%的适度复杂性开销。
2021-12-15 cs.IT eess.IV math.IT
Belief Propagation for Error Correcting Codes and Lossy Compression Using Multilayer Perceptrons
研究了基于置信传播（BP）算法作为纠错码和有损压缩解码器的可能性，这两种编码器都是基于非单调树状多层感知器编码器的。讨论了BP算法在这些方案中是否能给出实用的算法。不幸的是，BP算法在这类全连接网络中的实现显示出很强的局限性，而理论结果似乎有点有希望。相反，它揭示了它可能有一个丰富而复杂的结构的解决方案空间通过基于BP算法。
2011-03-10 cs.IT math.IT physics.data-an
Optimality in Quantum Data Compression using Dynamical Entropy
本文研究了Schumacher和Westmoreland提出的不定长量子码纯量子态弦的无损压缩。过去的工作假设量子数据串准备以独立和相同分布的方式编码。我们引入了量子随机系综的概念，使我们能够考虑以更一般的方式制备的量子态串。对于任意同分布的量子随机系综，我们定义了一个相关的量子马尔可夫链，并证明了无损编码的最优平均码字长度等于相关量子马尔可夫链的量子动力学熵.
2019-08-03 cs.IT math.IT quant-ph
An Upper Limit of AC Huffman Code Length in JPEG Compression
Olympus Imaging Corporation（奥林巴斯影像公司）
提出了一种计算JPEG基线编码中8 × 8块AC霍夫曼码码长上限的策略。该方法是基于DCT的几何解释，计算的限制是接近14%的最大码长。所提出的策略可以适用于其他变换编码方法，例如，MPEG 2和4视频压缩，以计算相应处理块的接近的代码长度上限。
2009-01-19 cs.CC cs.CE cs.CV
Phase Code Discovery for Pulse Compression Radar: A Genetic Algorithm Approach
发现具有所需性质的序列长期以来一直是一个有趣的智力追求。在脉冲压缩雷达（PCR）中，发现具有低非周期自相关的相位码是获得良好估计性能的关键。然而，相位码的设计在数学上是不平凡的，因为序列的非周期自相关特性难以表征。本文提出了一种利用遗传算法（GA）来发现新的相位码的方法。开发的GA，被称为GASeq，发现更好的相位码比最先进的。在代码长度为59，由GASeq发现的序列实现了50.84的信号杂波比（SCR），而最知名的序列具有45.16的SCR。此外，GASeq的效率和可扩展性使我们能够搜索具有更长代码长度的相位码，这挫败了现有的基于深度学习的方法。在码长为100时，GASeq发现的最佳相位码表现出63.23的SCR。
2022-07-29 cs.IT eess.SP math.IT
New Uniform Bounds for Almost Lossless Analog Compression
Wu和Verdú开发了一种几乎无损的模拟压缩理论，其中一个对压缩器和解压缩器施加各种规则性条件，输入信号由（通常是无限熵）平稳随机过程建模。在这项工作中，我们考虑所有平稳随机过程的轨迹在一个规定的一组$\mathcal{S} \subset [0,1]^\mathbb{Z}$的（双）无穷序列，并找到统一的下限和上界的某些压缩率的度量平均维数和平均盒维数。一个重要的工具是最近的Lindenstrauss-Tsukamoto变分原理表示度量平均维数的率失真函数。
2019-06-18 cs.IT math.DS math.IT
Mismatched codebooks and the role of entropy-coding in lossy data compression
介绍了一种基于随机编码的通用量化方案，并分析了其性能。该方案包括一个源独立的随机码本（通常_mismatched_to_source分布），其次是最佳熵编码是_matched_to_quantized码字分布。在码本维数较大的情况下，在给定的失真下，推导出了该方案所能达到的码率的单字母公式。由于熵编码的速率降低进行了量化，它表明，它可以是任意大的。在"几乎统一"码本的特殊情况下（例如，身份证高斯码本与大方差）和差分失真措施，一个新的连接之间的压缩实现本方案和“通用”熵编码抖动格量化器的性能。这种连接推广了抖动格量化器冗余的"半比特"界限。此外，它证明了一个强大的概念的普遍性，其中一个单一的“几乎均匀”的码本是接近最佳的任何源和任何差异失真的措施。
2005-11-02 cs.IT math.IT math.PR
Metric mean dimension and analog compression
Wu和Verdú开发了一种几乎无损的模拟压缩理论，其中一个对压缩器和解压缩器施加各种规则性条件，输入信号由（通常是无限熵）平稳随机过程建模。在这项工作中，我们考虑所有平稳随机过程的轨迹在一个规定的（双）无穷序列，并找到统一的下限和上界的某些压缩率的度量平均维数和平均盒维数。一个重要的工具是最近的Lindenstrauss-Tsukamoto变分原理表示度量平均维数的率失真函数。我们还获得了一个固定的平稳过程的率失真维数率的压缩率的下界，并研究了几个例子。
2020-05-01 cs.IT math.DS math.IT
Quantum State Compression with Polar Codes
针对 Schumacher 量子压缩电路复杂度高的问题，论文提出基于经典伴随式信源编码与 polar codes 的量子态压缩方案，并通过量子连续抵消解码完成仿真验证。
2024-02-28 cs.IT math.IT quant-ph
Quantum coarse-graining for extreme dimension reduction in modelling stochastic temporal dynamics
复杂系统的随机建模在定量科学中扮演着重要的角色，但通常需要大量的计算。量子信息处理的最新进展已经阐明了量子模拟器在这些任务中表现出存储优势的潜力。因此，重点放在无损内存压缩上，其中的优势通常是减少模型跟踪的信息量，而可以说更实际的是，内存维度的减少并不总是可能的。在这里，我们解决的情况下，有损压缩的量子随机建模的连续时间过程，引入了一种方法，在量子态空间，大大减少了必要的内存尺寸建模的时间动态，同时保留近精确的统计粗粒化。与经典的粗粒化相比，这种压缩不是基于牺牲时间分辨率，而是在当前量子技术的范围内带来了内存高效，高保真度的随机建模。
2021-06-21 cond-mat.stat-mech cs.IT math.IT
Quad Length Codes for Lossless Compression of e4m3
Google LLC（谷歌公司）
本文提出四长度编码，结合压缩效率与解码速度，适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
Enumerative Data Compression with Non-Uniquely Decodable Codes
非唯一可解码码可以被定义为在没有附加消歧信息的情况下不能被唯一解码的码。这些主要是非无前缀码的类别，其中码字可以是其他码字的前缀，因此，码字边界信息对于正确解码是必不可少的。虽然与无前缀码相比，码字比特流消耗的空间明显更少，但附加的消歧信息使得难以完全捕捉无前缀码的性能。以前的研究认为，压缩与非前缀自由的代码集成排名/选择字典或小波树标记的码字边界。在这项研究中，我们专注于另一个维度与块-明智的枚举计划，提高了以前的研究的压缩比显着。在已知语料库上进行的实验表明，该方案成功地表示其熵内的源，甚至在某些情况下比霍夫曼和算术编码更好。由于缺乏唯一可解码性，非唯一可解码代码还提供了固有的安全特征。我们调查这个维度作为一个机会，提供压缩数据的安全性没有（或较少）加密，并讨论各种可能的实际优势，支持这样的代码。
2019-11-13 cs.DM cs.DS cs.IR
Prediction of Transformed (DCT) Video Coding Residual for Video Compression
视频压缩已经借助于分析-合成，并且更具体地借助于修复来研究。我们方法的第一部分是开发图像中DCT系数的修复。这显示了良好的效果，图像压缩没有超越今天的压缩标准，如JPEG。然后，我们研究了在视频编码器中集成相同的方法，特别是在广泛使用的H264 AVC标准编码器中，但是相同的方法可以在HEVC的框架中使用。这项工作的独创性在于取消在编码器，然后自动恢复，在解码器，一些精心挑选的DCT残差系数。为此，我们已经开发了一个恢复模型的转换系数。通过使用基于总变分的模型，我们推导出被抑制或改变的变换系数的重建条件。这里的主要目的，在视频编码的上下文中，是提高现有的编码器的率失真性能。为此，基于图像正则化过程，DCT恢复被用作变换系数的空间预测的附加预测步骤。该方法已成功地测试与H.264 AVC视频编解码器标准。
2014-04-16 cs.IT cs.MM math.IT
A multi-layer network based on Sparse Ternary Codes for universal vector compression
University of Geneva（日内瓦大学）
我们提出了多层扩展的稀疏三进制码（STC）的快速相似性搜索，我们专注于重建的数据库向量的三进制码。为了考虑STC的紧凑性和重构矢量的质量之间的权衡，我们研究了这些码在不同设置下的率失真行为。我们表明，单层代码不能在高速率下取得令人满意的结果。因此，我们将STC的概念扩展到多层，并设计了ML-STC，这是一种无码本的系统，它可以连续地细化先前层的残差的重建。而ML-STC保持稀疏的三进制结构的单层STC，因此是适合于快速相似性搜索在大规模数据库中，我们显示其优越的率失真性能基于模型的合成数据和公共的大规模数据库，相比，几个二进制哈希方法。
2017-10-31 cs.CV cs.IT math.IT
Rate-Distortion Function of the Stochastic Block Model
本文研究 SBM 图的有损压缩，在 Hamming 失真下刻画其率失真函数，并将社区标签作为边信息建立 Wyner-Ziv 形式，同时给出 ER 随机图模型的率失真函数。
2023-09-25 cs.IT cs.SI math.IT
Bit-Optimal Lempel-Ziv compression
Lempel和Ziv在40年前提出的无损数据压缩方案是最著名和研究最多的方案之一。这种压缩方案被称为“基于字典的压缩”，包括通过用（较短的）码字替换输入字符串的一些子串来压缩输入字符串，码字实际上是指向在处理字符串时构建的短语字典的指针。令人惊讶的是，尽管现在已知关于该压缩过程的速度和有效性的上限的许多基本结果以及其中的参考文献，但是“我们不知道当在对码字的任何约束下使用LZ 77字典时实现最优性的任何解析方案，而不是长度相等”[N]。Rajpoot和C.萨希纳尔普无损数据压缩手册，基于字典的数据压缩一章。中国科学出版社，2002年.页。159]。在这里，最优性意味着在压缩每个单独的输入字符串时实现最少的比特数，而不对其生成源做任何假设。在本文中，我们提供了第一个基于LZ的压缩机，计算任何输入字符串的位最优解析在有效的时间和最佳空间，一般类的可变长度码字编码，其中包括大多数通常用于数据压缩和搜索引擎和压缩索引的设计。
2008-02-06 cs.DS cs.IT math.IT
LLM-based Source Code Compression via Thresholded Symbol Ranking
University of Pisa（比萨大学）；Scuola Superiore Sant’Anna（圣安娜高等学校）
研究基于大语言模型的源代码无损压缩问题，提出两种阈值符号排序变体，将预测限制在前\(T\)个排名，通过通用压缩器联合压缩阈值外符号。实验表明该方法在压缩率和吞吐量上优于此前方法，在压缩速度频谱中提供新权衡点。
2026-07-30 cs.CL cs.IT cs.LG
Compression with Flows via Local Bits-Back Coding
UC Berkeley（加州大学伯克利分校）
基于似然的生成模型是无损压缩的基础，因为它保证了长度接近负对数似然的码的存在。然而，无法保证存在实现这些长度的计算高效代码，并且编码算法必须针对特定类型的生成模型进行手工定制以确保计算效率。这种编码算法对于自回归模型和变分自编码器是已知的，但对于一般类型的流模型不是已知的。为了填补这一空白，我们引入了本地位回编码，一种新的压缩技术流模型。我们提出了有效的算法，实例化我们的技术，许多流行类型的流，我们证明了我们的算法密切实现理论codelastness的国家的最先进的流模型的高维数据。
2020-01-06 cs.IT cs.LG math.IT
