Lempel-Ziv Complexity, Empirical Entropies, and Chain Rules
本文研究独立应用于有限个体序列$k$块的LZ78压缩率，利用归一化经验熵给出上下界，并由此得到LZ复杂度的链式法则等结论。
2025-06-15 cs.IT math.IT
Lempel-Ziv Decoding in External Memory
简单快速的解码是LZ 77类型文本编码的主要优点之一，它被用于许多流行的文件压缩器，如gzip和7zip。随着最近引入用于Lempel-Ziv因式分解的外部存储器算法，需要外部存储器LZ 77解码，但是标准算法对文本进行随机访问，并且不能针对外部存储器计算进行简单修改。我们描述了LZ 77解码的第一个外部存储器算法，证明了它们的I/O复杂度是最优的，并证明了它们在实践中非常快，只有大约三倍慢于内存解码（当读取输入和写入输出的时间包括在内）。
2016-01-31 cs.DS cs.IT math.IT
A Normal Sequence Compressed by PPM$^*$ but not by Lempel-Ziv 78
在本文中，我们比较了两个预测部分匹配（PPM）系列的压缩器（PPM $^*$和原始的有界PPM算法）和Lempel-Ziv 78（LZ）算法的性能差异。我们构造了一个无限二进制序列，它对PPM $^*$的最坏情况压缩比为$0$，而对有界PPM和LZ的最好情况压缩比分别至少为$1/2$和$1$.这个序列是按长度顺序枚举所有二进制字符串，即长度为$1$的所有字符串后跟长度为$2$的所有字符串，依此类推。因此它是正常的，并且是使用递增顺序的de Bruijn字符串的重复来构建的
2020-09-10 cs.DS cs.IT math.IT
Optimal Lempel-Ziv based lossy compression for memoryless data: how to make the right mistakes
压缩是指使用比特对数据进行编码，以便表示使用尽可能少的比特。压缩可以是无损的：即，编码数据可以从其表示中精确地恢复），或者是有损的，其中数据比无损情况压缩得更多，但是仍然可以恢复到预定的失真度量内。在本文中，我们证明了Codelet解析，一个准线性时间算法的有损压缩的比特序列是独立和相同的分布（\iid）和汉明失真的最优性。Codelet Parsing将无损Lempel Ziv算法扩展到有损情况--这是信源编码文献近二十年来的一个重点。给定\iid序列$\x$，使得$\x$可以被重构到失真$\dist$内的最短有损表示的预期长度由速率失真函数$\rd$给出。我们证明了Codelet解析算法对于无记忆位序列的有损压缩的最优性。它将输入序列自然地分成短语，用codelet表示每个短语，codelet是一个潜在的长度相同的扭曲短语。长度为$n$的字符串${\x}$的有损表示中的码片具有大致$(\log n)/\rd$的长度，并且像无损Lempel Ziv算法一样，码片解析构造序列长度对数的码本。
2012-10-18 cs.IT math.IT
On Match Lengths, Zero Entropy and Large Deviations - with Application to Sliding Window Lempel-Ziv Algorithm
信息论文献从不同的角度研究了利用递归时间和匹配长度的滑动窗口Lempel-Ziv（SWLZ）算法。在本文中，我们进行了两种不同的情况下，这些数量的更精细的研究，i）\emph{zero entropy}源，其特征在于强长期记忆，和ii）弱记忆的过程中所描述的通过各种混合条件。对于零熵信源，得到了关于匹配长度的一般表达式。它被用来证明文献中给出的固定移位Lempel-Ziv算法（FSLZ）和SWLZ算法的几乎必然最优性。通过一个由无理旋转产生的平稳遍历过程的例子，我们建立了对于大小为$n_w$的窗口，由$O(\frac{\log n_w}{{n_w}^a})$给出的压缩比，其中$a$依赖于$n_w$，并且接近于$n_w \rightarrow \infty$，在FSLZ和SWLZ算法的应用下获得。此外，我们还给出了一类平稳遍历零熵过程的压缩比的一般表达式。其次，我们推广了Ornstein和Weiss关于\emph{normalized}形式的递归时间的渐近性态的研究，建立了一类混合过程的\emph{large deviation property}（LDP）。同时，提出了一种基于递归时间的熵估计，证明了满足相似混合条件的信源的大偏差原理。
2014-11-06 cs.IT math.IT
Bounded Pushdown dimension vs Lempel Ziv information density
在本文中，我们介绍了一个变种的下推维数称为有界下推（BPD）维，它测量的密度包含在一个序列中的信息，相对于一个BPD自动机，即一个有限的状态机配备了一个额外的无限内存堆栈，与额外的要求，每个输入符号只允许有限数量的堆栈运动。BPD自动机是下推自动机的一种自然的实时限制。我们证明了BPD维数是一个强大的概念，通过给出一个等价的BPD维数的BPD压缩机的特征。然后，我们研究BPD压缩之间的关系，和标准的Lempel-Ziv（LZ）压缩算法，并表明，在有限状态压缩机的情况下，LZ是不是普遍的有界下推压缩机在很强的意义上：我们构建一个序列，LZ未能压缩显着，但至少由一个因子2压缩的BPD压缩机。作为推论，我们得到了一个强分离的有限状态和BPD维数。
2007-04-18 cs.CC cs.IT math.IT
Bit-Optimal Lempel-Ziv compression
Lempel和Ziv在40年前提出的无损数据压缩方案是最著名和研究最多的方案之一。这种压缩方案被称为“基于字典的压缩”，包括通过用（较短的）码字替换输入字符串的一些子串来压缩输入字符串，码字实际上是指向在处理字符串时构建的短语字典的指针。令人惊讶的是，尽管现在已知关于该压缩过程的速度和有效性的上限的许多基本结果以及其中的参考文献，但是“我们不知道当在对码字的任何约束下使用LZ 77字典时实现最优性的任何解析方案，而不是长度相等”[N]。Rajpoot和C.萨希纳尔普无损数据压缩手册，基于字典的数据压缩一章。中国科学出版社，2002年.页。159]。在这里，最优性意味着在压缩每个单独的输入字符串时实现最少的比特数，而不对其生成源做任何假设。在本文中，我们提供了第一个基于LZ的压缩机，计算任何输入字符串的位最优解析在有效的时间和最佳空间，一般类的可变长度码字编码，其中包括大多数通常用于数据压缩和搜索引擎和压缩索引的设计。
2008-02-06 cs.DS cs.IT math.IT
On Jacob Ziv's Individual-Sequence Approach to Information Theory
本文致敬Jacob Ziv对信息论的贡献，重点探讨其首创的个体序列方法与Lempel-Ziv（LZ）算法在通用数据压缩等广泛领域的技术威力与深远影响。
2024-06-05 cs.IT math.IT
Cellular liberality is measurable as Lempel-Ziv complexity of fastq files
许多研究使用转录组数据的Shannon熵来确定细胞去分化和分化。证据的收集加强了转录组的香农熵可用于量化细胞去分化和分化的确定性。量化这种细胞状态是合理的，我们提出了细胞去分化和分化的定量值的术语自由度。在以前的研究中，我们必须通过映射，标签计数，组装和更多的生物信息学处理将原始转录组数据转换为定量转录组数据以计算自由度。如果我们能从估算自由度中去掉这个转换步骤，我们就能节省计算资源和时间，并消除使用计算机的技术困难。在这项研究中，我们提出了一种计算细胞自由度的方法，而无需那些转录组数据转换过程。我们可以通过测量原始转录组数据的压缩率来计算自由度。这种技术，独立于参考基因组数据，增加了细胞自由性的一般性。
2022-10-19 cs.IT math.IT q-bio.QM
Universal Random Coding for Successive Refinement of Individual Sequences Based on Lempel-Ziv Complexity
The Viterbi Faculty of Electrical and Computer Engineering Technion - Israel Institute of Technology（以色列理工学院维特比电气与计算机工程学院）
本文将通用随机编码扩展至两阶段逐次精炼设置，基于LZ78复杂度构造无类型编码，证明其可达区域优于有限状态建模方法的姊妹论文结果。
2026-08-26 cs.IT math.IT
Time and Memory Efficient Lempel-Ziv Compression Using Suffix Arrays
众所周知的基于字典的Lempel-Ziv（LZ）77系列算法是几种通用无损压缩技术的基础。这些算法在编码/解码时间和存储器要求方面是不对称的，前者要求更高。在过去的几年中，相当多的注意力已经致力于寻找有效的数据结构，以支持这些搜索的问题，旨在优化编码器的速度和内存。哈希表、二叉搜索树和后缀树已被广泛用于此目的，因为它们允许以牺牲存储器为代价的快速搜索。最近的一些研究集中在后缀数组（SA），由于其低内存需求和线性构造算法。先前的工作已经展示了如何使用单个SA或具有最长公共前缀信息的辅助阵列的SA来计算LZ 77分解。基于SA的算法比基于树的编码器使用更少的内存，分配严格必要的内存量，而不管要搜索/编码的文本的内容。在本文中，我们提出了更快的SA为基础的算法LZ 77编码和子串搜索，保持其低的内存需求，以前的工作进行改进。对于一些压缩设置，在一个大型基准测试文件集上，我们的低内存SA编码器也比基于树的编码器更快。这提供了时间和存储器高效的LZ 77编码，是对像LZMA这样的公知编码器上的树的可能替代。我们的算法也适用于文本分类，因为它提供了一种紧凑的方式来描述文本的词袋表示，以及一个快速的索引机制，允许快速找到所有的单词集，以一个给定的符号开始，在一个静态字典。
2009-12-30 cs.DS cs.IT math.IT
Pushdown Compression
XML文档高效压缩方案的迫切需求最近集中在堆栈计算上[6，9]，特别是要求制定信息无损堆栈或下推压缩器，允许对其性能进行正式分析，并在XML压缩中更雄心勃勃地使用堆栈，到目前为止，它主要与解析机制有关。在本文中，我们介绍了下推压缩器的模型，下推传感器计算一个单内射函数，同时保持最广泛的通用性，关于堆栈计算的基础上。著名的Lempel-Ziv算法LZ 78 [10]是作为一种通用压缩算法引入的，它在所有序列上都优于有限状态压缩器。我们比较的Lempel-Ziv算法的下推压缩器，或压缩算法，可以实现下推换能器的性能。这种比较是在没有任何先验假设的数据的来源，并考虑到无限序列的渐近压缩比。我们证明了Lempel-Ziv是不可比拟的下推压缩。
2007-09-17 cs.CC cs.IT math.IT
Problems of robustness for universal coding schemes
Lempel-Ziv通用编码方案对于所有平稳遍历信源是渐近最优的。研究了该性质在小的遍历性破坏下的鲁棒性问题。算法随机性不足的概念被用来作为数据序列和概率测度之间不一致的度量。我们证明了，从一个大类的通用压缩计划是非鲁棒性在以下意义上：如果随机性不足增长任意缓慢的初始片段的无限序列，然后可以违反任何通用压缩算法的渐近最优性的属性。Lempel-Ziv压缩算法对遍历马尔可夫链产生的无穷序列具有鲁棒性，当其初始片段长度$n$的随机性亏损按$o(n)$增长时.
2008-06-27 cs.IT cs.OH math.IT
Lossy Compression in Near-Linear Time via Efficient Random Codebooks and Databases
研究了基于随机码本或随机数据库的有损压缩算法的压缩复杂度权衡问题。受Gupta-Verdú-Weissman（GVW）最近的结果及其与Kontoyiannis的有损Lempel-Ziv算法的模式匹配方案的潜在联系的启发，我们引入了有损Lempel-Ziv方法的非通用版本（称为LLZ）。LLZ的最优无记忆源的建立，其性能相比，GVW分而治之的方法。实验结果表明，GVW方法通常比LLZ产生更好的压缩，但代价是更高的内存需求。为了结合两者的优点，我们引入了一种混合算法（HYB），它利用了GVW的分治思想和LLZ的单数据库结构。证明了HYB与GVW共享完全相同的率失真性能和实现复杂度，而像LLZ一样，需要较少的内存，通过一个可能成为无界的因素，取决于选择或相关的设计参数。实验结果也被提出，说明所有三种方法的性能上产生的数据由简单的离散无记忆源。特别是，HYB算法优于现有的计划，一些简单的离散源的压缩相对于汉明失真准则。
2009-04-21 cs.IT math.IT
Source Coding, Large Deviations, and Approximate Pattern Matching
我们提出了一个发展的部分率失真理论和模式匹配算法的有损数据压缩，围绕着一个有损版本的渐近均分属性（AEP）。这种处理与无损压缩的相应发展密切相关，这是Wyner和Ziv在1989年的一篇重要论文中提出的观点。在无损的情况下，我们审查如何AEP的Lempel-Ziv算法的分析基础，将其视为一个随机码，并减少它的理想化香农码。这也提供了关于Lempel-Ziv算法的冗余和几个相关量的渐近行为的信息。在有损的情况下，我们给出了各种版本的广义AEP的声明，我们概述了其证明通过大偏差的一般方法。本文还讨论了它与Barron广义AEP的关系。有损AEP被应用于：（i）证明加强版本的Shannon信源编码定理和通用编码定理;（ii）表征失配码本的性能;（iii）分析有损压缩的模式匹配算法的性能;（iv）确定等待时间的一阶渐近性（具有失真）;（v）将加权码本的最佳可达率表征为最优球覆盖指数。然后，我们提出了一个改进的有损AEP和使用它：（i）证明二阶编码定理;（ii）表征哪些源更容易压缩;（iii）确定二阶渐近的等待时间;（iv）确定最长匹配长度的精确渐近行为。对随机场也作了推广。
2001-03-02 cs.IT math.IT math.PR
Optimal Universal Lossless Compression with Side Information
本文提出了Lempel-Ziv（LZ）算法的条件版本的压缩器和解压缩器可以访问相同的边信息的设置。我们提出了一个固定长度的解析LZ算法的边信息，Willems算法的动机，并证明了任何平稳过程的最优性。此外，我们还提出了降低数据压缩率的改进策略。提出了一种带边信息的变长解析LZ算法的改进，并证明了该算法对任何平稳遍历过程都是渐近最优的。
2017-07-18 cs.IT math.IT
Nonparametric Decentralized Sequential Detection via Universal Source Coding
当原假设下的分布是完全已知的，而备择假设对应于其他未知分布时，我们考虑非参数或泛序贯假设检验问题。这些算法主要是从认知无线电中的频谱感知和无线传感器网络中的入侵检测中得到的。我们使用易于实现的通用无损源代码，提出简单的算法，这样的设置。该算法首次提出了离散字母表。理论上研究了它们的性能和渐近性质。后来这些扩展到连续字母表。它们的性能与两个著名的通用源代码，Lempel-Ziv码和Krichevsky-Trofimov估计与算术编码器进行了比较。这些算法也比较了使用各种其他非参数估计的测试。最后，还提出了一种利用空间分集的分散版本。分析了它的性能，证明了它的渐近性质。
2013-08-29 cs.IT math.IT
A Family of LZ78-based Universal Sequential Probability Assignments
本文提出了一种基于LZ78算法增量解析过程的通用序列概率分配模型，证明其在压缩、生成和分类任务中的有效性。
2025-12-12 cs.IT math.IT
Universal Slepian-Wolf coding for individual sequences
本研究针对单个序列的独立编码联合解码场景，建立编码与逆定理，用LZ复杂度族刻画可达速率域，证明LZ复杂度渐近链式法则，提出带低速率反馈的改进Draper增量SW编码方案可通用实现该速率域。
2024-03-12 cs.IT math.IT
Universal Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
我们考虑一个代理与一个未建模的环境。在每一次，代理人进行观察，采取行动，并产生成本。它的行动可能会影响未来的观察和成本。目标是使长期平均成本最小化。我们提出了一种新的算法，被称为主动LZ算法，从Lempel-Ziv计划的通用数据压缩和预测的思想为基础的最优控制。我们建立，在主动LZ算法，如果存在一个整数$K$，使得未来是有条件的独立于过去给定的$K$连续的行动和观察的窗口，那么平均成本收敛到最优。石头剪刀布游戏的实验结果表明了该算法的有效性。
2009-07-22 cs.IT cs.LG math.IT
A Universal Random Coding Ensemble for Sample-wise Lossy Compression
我们提出了一个通用的合奏随机选择率失真码，这是渐近最优的样本明智的意义。根据该系综，在与$2^{-LZ(\hbx)}$成比例的概率分布下随机独立地选择每个再现矢量$\hbx$，其中$LZ(\hbx)$是属于Lempel-Ziv（LZ）算法的1978版本的$\hbx$的码长。我们表明，与高概率，由此产生的码本产生的渐近最佳可变速率有损压缩计划下的任意失真措施，在这个意义上，匹配的逆定理也成立。根据逆定理，即使解码器预先知道源向量的$\ell$阶类型（$\ell$是大的但固定的正整数），对于表示相同类型的所有源向量的绝大多数码字，上述码的性能也不能得到本质上的改善。最后，我们提供了一个讨论我们的结果，其中包括，除其他事项外，一个比较的编码方案，选择再生矢量中的所有向量，在允许的失真从源向量的LZ码长度最短。
2022-12-23 cs.IT math.IT
Universal Decoding for Source-Channel Coding with Side Information
我们考虑Slepian-Wolf编码的设置，其中源向量的随机二进制值经历信道编码，然后在接收器处基于与源相关的附加边信息进行解码。对于一个给定的随机选择的信道码字的分布，我们提出了一个通用的解码器，既不依赖于相关的源，也不依赖于信道的统计，假设第一，他们都是无记忆的。对该通用译码器的随机合并/随机编码误差指数的精确分析表明，它与最优最大后验概率（MAP）译码器所达到的误差指数相同。以前已知的结果普遍Slepian-Wolf源解码，普遍的信道解码，和普遍的源-信道解码，都得到了这个结果的特殊情况。随后，我们进一步将结果推广到几个方向，包括：（i）有限状态源和有限状态信道，以及基于Lempel-Ziv解析的通用解码度量，（ii）任意源和信道，其中通用解码是关于给定类别的解码度量，以及（iii）完全解码度量。（对称）Slepian-Wolf编码，其中两个源流分别被馈送到随机合并源编码器，随后是随机信道编码器，然后由通用解码器联合解码。
2016-01-24 cs.IT math.IT
Bounds for Learning Lossless Source Coding
University of Hawaii, Manoa（夏威夷大学马诺阿分校）
本文提出了一个基本问题：需要多少训练才能击败通用源代码编码器？传统上，有两种类型的源代码编码器：固定的，最佳的编码器，如霍夫曼编码器;和通用的源代码编码器，如Lempel-Ziv本文认为第三种类型的源代码编码器：学习编码器。这些编码器在特定类型的数据上进行训练，然后用于编码该类型的新数据。这是一种编码器，最近在（有损）图像和视频编码中变得非常流行。本文考虑两个标准的学习编码器的性能：训练数据的平均性能，并保证在所有的训练，除了一些错误概率$P_e$的性能。在这两种情况下，编码器的冗余度进行评估。本文考虑了IID二元情形和二元马尔可夫链。在这两种情况下，它表明，所需的训练数据量是非常温和的：编码序列的长度$l$的训练数据量需要击败通用源编码器是$m=K\frac{l}{\log l}$，其中常数在前面取决于所考虑的情况。
2020-09-18 cs.IT cs.LG math.IT
