Mixing Strategies in Data Compression
我们提出几何加权作为一种在数据压缩中组合多个模型的新方法。我们的研究结果揭示了PAQ加权背后的基本原理，并将其推广到非二进制字母表。基于类似的技术，我们提出了一个新的，通用的线性混合技术。所有新的混合技术都依赖于给定的权重向量。我们考虑的问题，找到最佳的权重和重量优化导致一个严格凸（因此，良好的性质）的优化问题。最后，实验评估比较了两个提出的混合技术的二进制字母表。结果表明，几何加权法优于线性加权法。
2013-02-12 cs.IT math.IT
Fronthaul Compression for Uplink Cloud-RAN with Finite-Alphabet Inputs: A Reverse Mercury/Waterfilling Approach
Yonsei University（延世大学）；Hanyang University（汉阳大学）
针对有限字母输入的上行云无线接入网，提出反向汞/注水比特分配方法，最大化LMMSE检测后的广义互信息，在紧张fronthaul预算下维持端到端速率并具鲁棒性。
2026-09-21 cs.IT eess.SP math.IT
Compressing Multisets with Large Alphabets using Bits-Back Coding
Meta AI；University of Toronto（多伦多大学）；Vector Institute for AI（向量人工智能研究所）；University of Amsterdam（阿姆斯特丹大学）
当前以最佳速率压缩多集合的方法具有与字母表大小线性缩放的计算复杂性，使得它们在许多现实世界设置中太慢而不实用。我们将展示如何将序列的压缩算法转换为一个多集，以换取一个额外的复杂性，是准线性的序列长度。这使我们能够以最佳速率压缩多组可交换符号，同时计算复杂性与字母表大小解耦。关键的见解是避免直接编码多集，而是压缩代理序列，使用一种称为“位回编码”的技术。我们证明了实验上的任务，这是棘手的最优速率的方法：压缩多组图像和JavaScript对象表示法（JSON）文件的方法。我们的实验代码可以在https://github.com/facebookresearch/multiset-compression上找到。
2023-02-27 cs.IT cs.LG eess.SP
Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding
现代数据压缩主要基于两种熵编码方法：霍夫曼编码（HC）和算术/距离编码（AC）。前者要快得多，但近似概率为2的幂，通常导致相对较低的压缩率。后者使用几乎精确的概率-很容易接近理论压缩率极限（香农熵），但代价是更大的计算成本。非对称数字系统（ANS）是一种精确熵编码的新方法，它允许结束速度和速率之间的这种权衡：最近的实现[1]提供了比256大小字母表的HC快大约$50\%$的解码，压缩率类似于AC提供的压缩率。这个优点是由于比AC更简单：使用单个自然数作为状态，而不是两个来表示范围。除了简化重正化，它还允许将给定概率分布的整个行为放入一个相对较小的表中：定义熵编码自动机。对于256大小的字母表，这样的表的存储器成本是几个字节。在选择特定表时有很大的自由度-为此目的使用用加密密钥初始化的伪随机数生成器允许同时加密数据。本文还介绍和讨论了这种新的熵编码方法的许多其他变体，这些变体可以为标准AC、大字母范围编码或近似的准算术编码提供直接的替代方案。
2014-01-06 cs.IT math.IT
On Multi-Channel Huffman Codes for Asymmetric-Alphabet Channels
零误差单通道信源编码在过去的几十年里得到了广泛的研究。然而，其自然的多通道推广没有得到很好的研究。虽然十年前研究了具有多个字母表信道的特殊情况，但是在这种设置中的码在数据压缩方面没有单信道码的优势，使得它们在大多数应用中毫无价值。在本文中，我们打破了僵局，表明它是可能的，以击败单通道源代码在压缩假设不对称字母表通道。本文对单通道信源编码中的几个经典结果进行了多通道模拟，如多通道Huffman码是最优树可译码码。我们还展示了一些证据，找到一个有效的多通道霍夫曼码的建设可能是困难的。然而，我们提出了一个次优的代码结构，其冗余度保证不大于最佳的单通道源代码。
2021-05-08 cs.IT math.IT
On principles of large deviation and selected data compression
香农无噪编码定理（数据压缩原理）断言，对于具有字母表$\mathcal X=\{0,\ldots ,\ell -1\}$和渐近均分属性的信息源，可以以任意小的错误概率将存储的字符串数目$(x_0,\ldots ,x_{n-1})\in {\mathcal X}^n$减少到$\ell^{nh}$。这里$h$是源的熵率（计算到基$\ell$）。我们考虑进一步减少的基础上的概念的实用程序的一个字符串的权重函数的速率来衡量。这项工作的新颖之处在于，从概率的角度分析了内存的分布。一个方便的工具来评估程度的减少是一个概率大偏差原则。假设一个马尔可夫型设置，我们讨论了一些相关的公式，包括一般字母表的情况下。
2016-04-24 cs.IT math.IT math.PR
Old and New Results on Alphabetic Codes
本文综述了字母编码从20世纪60年代至今的发展，涵盖经典编码及其变体、最优构造算法、存在条件、平均码长上界及其在数据压缩等领域的应用，并展望了未来研究方向。
2025-04-08 cs.DS cs.IT math.IT
Universal Variable-to-Fixed Length Lossy Compression at Finite Blocklengths
我们考虑了具有保真度准则的无记忆信源的通用变长到定长压缩。我们设计了一个字典码本的再现字母表，这是用来解析的源流。一旦源子序列在字典码字的指定失真内，码字的索引就被发出作为再现的串。我们建议的字典由覆盖类型类的边界过渡从低到高的经验损耗率。对于足够大的字典，我们推导出我们的编码方案的ε-编码率（直到三阶项）的渐近性。
2022-11-22 cs.IT math.IT
A New Technique for Text Data Compression
在本文中，我们使用三进制表示的数字压缩文本数据。我们使用一个二进制映射的三进制数字，并介绍了一种方法来使用二进制11对，这从来没有被用于编码数据之前，我们进一步使用4位数的三进制表示的字母表与和与一些额外的符号，是最常用的日常生活。我们找到了一种方法来最大限度地减少位串的长度，这只可能在三进制表示，从而大大减少了代码的长度。我们还发现这种编码数据和斐波那契数的技术之间的一些联系。
2010-12-20 cs.CR cs.IT math.IT
SSE Lossless Compression Method for the Text of the Insignificance of the Lines Order
有一种特殊类型的文本，其行的顺序没有区别（例如，单词列表）。对于这些特殊文本的压缩，传统的无损压缩方法并不是理想的选择。提出了一种新的方法，可以达到更好的压缩效果，这类文本。首先采用SSE方法对文本进行预处理，然后采用传统的无损压缩方法对文本进行压缩。比较结果表明，该算法压缩效果得到了改善。
2017-12-07 cs.IT math.IT
Analysis and study on text representation to improve the accuracy of the Normalized Compression Distance
以文本形式存储的大量信息使得处理文本的方法非常有趣。本文主要研究利用压缩距离来处理文本。更具体地说，本文朝着理解文本的性质和压缩距离的性质迈出了一小步。一般来说，这样做的方式是探索几种失真技术对压缩距离家族中最成功的距离之一归一化压缩距离（NCD）的影响。
2012-05-29 cs.IT math.IT
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University（德克萨斯A&M大学）
我们提出了一个独立的系统，用于构建自然语言模型，用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络，从而改进了以前基于神经网络的模型。RNN在建模序列数据（如文本）方面表现出色，因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
Joint fixed-rate universal lossy coding and identification of continuous-alphabet memoryless sources
在连续字母表无记忆信源的固定速率有损编码环境下，考虑了联合通用信源编码和识别问题。对于一类广泛的有界失真测度，证明了任何紧参数化的$\R^d$ -值i.i.d.源的绝对连续分布，满足适当的平滑度和Vapnik-Chervonenkis学习条件，承认一个联合计划的通用有损块编码和参数估计，这样，当块长度$n$趋于无穷大，开销每字母率和失真冗余收敛到零，分别为$O(n^{-1}\log n)$和$O(\sqrt{n^{-1}\log n})$。此外，有源源可以在解码器处被确定为半径为$O(\sqrt{n^{-1} \log n})$的球，在变距离中，渐近地几乎肯定。该系统具有有限的内存长度等于块的长度，并可以被认为是一个时不变的非线性滤波器的块的应用程序与初始条件确定从前一个块。与现有的几个通用矢量量化方案，其中不包括参数估计明确的比较，并概述了无限失真措施的扩展。最后，有限的混合类和指数家庭的参数源承认联合通用的压缩和建模方案的研究在这里给出明确的例子。
2007-05-17 cs.IT cs.LG math.IT
Text Compression and Superfast Searching
本文提出了一种新的文本压缩方案。同样的，它可以有效地提供高压缩比，并在压缩文本中实现超快速搜索。典型的压缩比为70-80%，搜索时间减少80-85%是本文的特点。到目前为止，已经看到压缩文本中的高比率和可搜索性之间的权衡。在本文中，我们表明，更大的压缩，更快的搜索。这在数据作为自然语言文本存在的许多地方都是适用的。
2005-05-23 cs.IR cs.IT math.IT
An Enhanced Text Compression Approach Using Transformer-based Language Models
State University of Bangladesh（孟加拉国州立大学）；United International University（联合国际大学）；BRAC University（BRAC大学）
针对文本压缩与恢复中无损压缩算法集成和高效预处理优化Transformer的未解难题，提出基于Transformer的RejuvenateForme方法，结合Lempel-Ziv-Welch算法的预处理技术，在多语料库上实现了最先进的压缩率和BLEU分数。
2024-12-15 cs.CL cs.IT cs.LG
LLMZip: Lossless Text Compression using Large Language Models
Texas A&M University（得克萨斯农工大学）
本文利用大型语言模型LLaMA-7B预测下一token，提出了英语熵渐近上界的新估计，并据此设计了一种优于BSC、ZPAQ和paq8h的无损文本压缩算法。
2023-06-26 cs.CL cs.IT cs.LG
An Efficient Technique for Text Compression
为了存储一个单词或整个文本段，我们需要一个巨大的存储空间。通常，一个字符需要1个字节来存储在内存中。存储器的压缩对于数据管理是非常重要的。在对文本数据进行内存需求压缩的情况下，需要进行无损内存压缩。我们提出了一种用于文本数据压缩的无损内存需求压缩方法。该压缩方法将对文本段或文本文件进行压缩，首先进行压缩，然后进行压缩。将使用单词查找表（不使用传统索引系统）进行缩减，然后使用当前可用的压缩方法进行压缩。字查找表将是操作系统的一部分，并且缩减将由操作系统完成。根据这种方法，每个字将被一个地址值替换。这种方法可以非常有效地减少文本数据所需的持久内存的大小。在使用字查找表的第一级压缩结束时，将生成包含地址的二进制文件。由于所提出的方法在第一级中不使用任何压缩算法，因此可以使用流行的压缩算法来压缩该文件，并且最终将对纯英文文本数据提供大量的数据压缩。
2010-09-25 cs.IR cs.IT math.IT
Semantic Text Compression for Classification
The Ohio State University（俄亥俄州立大学）
本文研究利用句子嵌入和语义失真度量的文本语义量化与压缩方法，在分类任务中以极小准确率损失实现数量级的比特资源节省，并通过语义聚类进一步放大节省效果，且在多个基准文本分类数据集上验证了方法的泛化能力。
2023-09-19 cs.CL cs.IT math.IT
Enhancing Dictionary Based Preprocessing For Better Text Compression
随着数据量和应用数量的快速增长，迫切需要基于字典的可逆变换技术来提高压缩算法的效率，从而有助于提高压缩比。不同大小的不同文本文件的压缩方法结合各种变换技术的性能分析。实现了流行的块排序无损Burrows Wheeler压缩算法（BWCA）以及一种提出的方法。为了有效地压缩字典为基础的变换算法也被开发。据观察，大大增加压缩比方面达到时，源文件预处理字典，然后应用到BWCA和所提出的方法。
2014-03-19 cs.IT math.IT
IDBE - An Intelligent Dictionary Based Encoding Algorithm for Text Data Compression for High Speed Data Transmission Over Internet
压缩算法减少了数据表示中的冗余，以减少该数据所需的存储。数据压缩提供了一种有吸引力的方法，通过有效地使用可用带宽来降低通信成本。在过去的十年中，通过互联网传输的数字数据量出现了前所未有的爆炸式增长，这些数据代表文本、图像、视频、声音、计算机程序等。随着这一趋势的持续，研究开发能够通过最大限度地压缩数据来最有效地利用可用网络带宽的算法是有意义的。本文的研究重点是解决这个问题的无损压缩的文本文件。无损压缩研究人员已经开发了高度复杂的方法，例如霍夫曼编码、算术编码、Lempel-Ziv族、动态马尔可夫压缩（DMC）、部分匹配预测（PPM）和基于Burrows-Wheeler变换（BWT）的算法。然而，这些方法中没有一种能够一致地达到理论上的最佳情况压缩比，这表明更好的算法是可能的。试图获得更好的压缩比的一种方法是开发新的压缩算法。然而，另一种方法是开发智能的、可逆的转换，这些转换可以应用于源文本，从而提高现有或后端算法的压缩能力。本文探讨了后一种战略。
2006-01-17 cs.IT math.IT
Word-Based Text Compression
今天有许多通用的压缩算法，但在大多数情况下是为特定的数据更好地使用特定的算法- JPEG的图像，MPEG的电影，等文本文件有特殊的方法，基于PPM算法或方法与非字符的访问，例如基于单词的压缩。在过去，发表了几篇描述使用Huffman编码或LZW方法的基于单词的压缩的变体的论文。本文的主题是描述基于LZ 77算法的基于词的压缩变体。本文介绍了LZ 77算法及其改进。此外，还描述了滑动窗口实现的各种方式和输出编码的各种可能性。本文还包括一个实验应用程序的实现，测试其效率，并找到LZ 77编码器的所有部分的最佳组合。这样做是为了实现最佳压缩比。在结论中，有与其他字为基础的压缩程序，并与其他常用的压缩程序的比较，这个实现的应用程序。
2008-04-23 cs.IT math.IT
Forward asymmetric numeral systems coding for natural language text compression
Taras Shevchenko National University of Kyiv（基辅塔拉斯·舍甫琴科国立大学）
本文提出结合非对称数字系统编码的建模与自适应编码方法，以实现高效的数据处理速度和压缩比，并解决自适应ANS的实现问题。
2026-05-20 cs.IT math.IT
Approximating Human-Like Few-shot Learning with GPT-based Compression
University of Waterloo（滑铁卢大学）
该研究将学习视为信息压缩，用GPT逼近Kolmogorov复杂度与信息距离，并在enwik9及多项NLP任务上验证其压缩和少样本学习效果。
2023-08-14 cs.AI cs.CL cs.IT
Test-Time Steering for Lossless Text Compression via Weighted Product of Experts
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（人工智能向量研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）；University of Michigan（密歇根大学）
针对传统通用压缩器压缩率低、神经压缩器泛化性差的问题，提出基于加权专家乘积的测试时引导框架，无需微调即可自适应结合两类模型，提升跨分布文本压缩性能。
2025-11-04 cs.AI cs.CL cs.IT
AlphaZip: Neural Network-Enhanced Lossless Text Compression
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
本文提出一种基于LLM的无损文本压缩方法AlphaZip，通过transformer块预测并结合标准压缩算法处理预测排名，实验证明其性能优于传统信息论基线。
2024-09-23 cs.AI cs.IT cs.LG
L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；Ant Group（蚂蚁集团）
本文提出L3TC方法，利用RWKV骨干网络、异常值感知分词器和高秩重参数化策略，在保持压缩性能的同时实现低复杂度、快解码的学习型无损文本压缩。
2024-12-24 cs.AI cs.CL cs.IT
Codes Over Absorption Channels
在本文中，我们提出了一种新的通信通道，称为吸收通道，灵感来自神经元中的信息传输。我们的动机来自体内纳米机器，新兴的医疗应用，以及通过神经系统进行通信的脑机接口。另一个动机来自于将我们的模型看作一个特定的删除通道，这可能为研究一般的删除通道提供一个新的视角和思路。对于任何给定的有限字母表，我们给出了代码，可以纠正吸收错误。对于二进制字母表来说，这个问题相对微不足道，我们可以应用二进制（多个）删除纠正码。对于单吸收误差，我们证明了Varshamov-Tenengolts码可以提供一个接近最佳的代码在我们的设置。当字母表大小$q$至少为$3$时，我们首先构造一个冗余度至多为$3\log_q(n)+O(1)$的单吸收纠错码。然后，基于该码和\cite{Gabrys2022IT}中引入的思想，给出了具有冗余度的单吸收纠错码$\log_q(n)+12\log_q\log_q(n)+O(1)$的第二种构造方法，它在$O\left(\log_q\log_q(n)\right)$范围内是最优的.最后，我们应用伴随式压缩技术与预编码，以获得一个子码的单吸收校正码。该子码具有抗多重吸收错误和低冗余的特点。对于每个设置，提供了有效的编码器和解码器。
2023-02-20 cs.IT math.IT
Domain Specific Hierarchical Huffman Encoding
在本文中，我们重温了经典的领域特定文本的数据压缩问题。众所周知，经典的霍夫曼算法对于前缀编码是最优的，并且压缩是在字符级进行的。由于许多数据传输是领域特定的，例如，下载课堂讲稿、网络博客等，很自然地想到更大维度（即字级而不是字符级）的数据压缩。我们的框架采用了两级压缩方案，其中第一级使用经典的频繁模式算法识别文本中的频繁模式。识别出的模式被替换为特殊字符串，并且为了获得更好的压缩比，特殊字符串的长度确保小于对应模式的长度。经过这种变换后，对得到的文本，我们采用经典的哈夫曼数据压缩算法。简而言之，在第一级中，压缩是在单词级进行的，而在第二级中，压缩是在字符级进行的。有趣的是，这种针对特定领域文本的两级压缩技术优于经典的霍夫曼技术。为了支持我们的主张，我们已经提出了理论和模拟结果的特定领域的文本。
2013-07-03 cs.DS cs.IT math.IT
Text + Sketch: Image Compression at Ultra Low Rates
University of Pennsylvania（宾夕法尼亚大学）
本文提出利用预训练文本到图像生成模型，结合文本描述与边信息，在极低码率下实现保留语义和空间结构的高保真图像压缩，无需端到端训练即可显著优于现有学习型压缩器。
2023-07-04 cs.CV cs.IT cs.LG
Capacity and Expressiveness of Genomic Tandem Duplication
人类基因组的大部分由重复序列组成。人类基因组中常见的一种重要类型的重复序列是串联重复序列，其中相同的拷贝彼此相邻。例如，在序列$AGTC\underline{TGTG}C$中，$TGTG$是串联重复，其可以通过长度为$2$的串联重复从$AGTCTGC$产生。在这项工作中，我们研究了从\textit{seed}生成大量序列的可能性，即\一个小的初始字符串，由有限长度的串联复制。我们研究这样一个系统的能力，一个概念，量化系统的发电能力。我们的研究结果包括某些串联重复串系统的\textit{exact capacity}值。此外，由DNA序列在通过RNA和遗传密码表达蛋白质中的作用所激发，我们将串联重复系统的\textit{expressiveness}的概念定义为表达任意子串的能力。然后，我们\textit{completely}的表现力的串联重复系统的一般字母大小和重复长度的特点。特别是，基于Axel Thue在1906年提出的一个著名结果，提出了一个三进制无平方序列的构造，我们证明了对于大小为4或更大的字母表，有界串联重复系统，无论种子和重复长度的界限如何，都不能完全表达，即它们不能生成所有字符串，即使是其他字符串的子串。注意，大小为4的字母表是特别感兴趣的，因为它属于基因组字母表。基于这一结果，我们还表明，这些系统没有充分的能力。在一般情况下，我们的研究结果表明，重复长度发挥更重…
2015-09-20 cs.DM cs.FL cs.IT
