Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding
现代数据压缩主要基于两种熵编码方法：霍夫曼编码（HC）和算术/距离编码（AC）。前者要快得多，但近似概率为2的幂，通常导致相对较低的压缩率。后者使用几乎精确的概率-很容易接近理论压缩率极限（香农熵），但代价是更大的计算成本。非对称数字系统（ANS）是一种精确熵编码的新方法，它允许结束速度和速率之间的这种权衡：最近的实现[1]提供了比256大小字母表的HC快大约$50\%$的解码，压缩率类似于AC提供的压缩率。这个优点是由于比AC更简单：使用单个自然数作为状态，而不是两个来表示范围。除了简化重正化，它还允许将给定概率分布的整个行为放入一个相对较小的表中：定义熵编码自动机。对于256大小的字母表，这样的表的存储器成本是几个字节。在选择特定表时有很大的自由度-为此目的使用用加密密钥初始化的伪随机数生成器允许同时加密数据。本文还介绍和讨论了这种新的熵编码方法的许多其他变体，这些变体可以为标准AC、大字母范围编码或近似的准算术编码提供直接的替代方案。
2014-01-06 cs.IT math.IT
Sequential adaptive compressed sampling via Huffman codes
压缩感知主要有两种方法：几何方法和组合方法。在本文中，我们介绍了一个信息理论的方法，并使用霍夫曼码理论的结果来构建一个序列的二进制采样向量，以确定一个稀疏信号。与其他方法不同，我们的方法是自适应的，在这个意义上，每个采样向量取决于前一个样本。对于n维空间中的k稀疏向量，我们需要的测量次数不超过O（k log n），重建时间为O（k）。
2009-06-25 cs.IT math.IT
An Upper Limit of AC Huffman Code Length in JPEG Compression
Olympus Imaging Corporation（奥林巴斯影像公司）
提出了一种计算JPEG基线编码中8 × 8块AC霍夫曼码码长上限的策略。该方法是基于DCT的几何解释，计算的限制是接近14%的最大码长。所提出的策略可以适用于其他变换编码方法，例如，MPEG 2和4视频压缩，以计算相应处理块的接近的代码长度上限。
2009-01-19 cs.CC cs.CE cs.CV
Quantum-inspired Huffman Coding
霍夫曼压缩，也称为霍夫曼编码，是当今使用的许多压缩技术之一。Huffman编码的两个重要特征是瞬时性，即代码一被接收就可以被解释，以及可变长度，即最频繁符号的长度小于较不频繁符号的长度。传统的Huffman编码有两个过程：在O（n^2）内构造树，然后在O（n）内遍历树。量子计算是一种基于量子力学方程的有前途的计算方法。瞬时性和可变长度的特征很难推广到量子的情况。量子编码领域的先驱是Schumacher的分组编码方案。为了顺序地编码N个信号，需要O（N3）个计算步骤。编码和解码过程远非瞬时的。此外，所有码字的长度是相同的。一个受霍夫曼编码启发的量子信息存储方案在非并行机器上的顺序实现需要O（N（log N）a）个计算步骤。
2013-02-20 cs.ET cs.IT math.IT
Efficient Graph Compression Using Huffman Coding Based Techniques
图已被广泛用于表示来自各个领域的数据。在大数据时代，信息正在以快速的速度生成，分析信息是一项挑战。已经提出了各种方法来加速数据分析并从中挖掘信息。所有这些通常涉及使用大量计算节点阵列，并通过网络传输数据。当然，由于数据量巨大，这对从数据中收集情报的任务提出了一个重大问题。因此，为了解决大数据的这些问题，使用数据压缩技术是一个可行的选择。由于图表示大多数真实世界的数据，压缩图的方法一直处于这种努力的最前沿。在本文中，我们提出的技术，通过找到特定的模式，并取代那些标识符是可变长度的，一个想法的启发霍夫曼编码压缩图。具体来说，给定一个图G =（V，E），其中V是一组顶点和E是一组边，和|V| = n，我们提出的方法来减少空间的要求，通过压缩的邻接表示相同的图。所提出的方法显示高达80%的减少是存储图形所需的空间相比，使用邻接矩阵。该方法也可以应用于其他表示。所提出的技术有助于解决与在资源有限的计算节点上的图上的计算有关的问题，以及在分布式计算的情况下减少通过网络传输数据的延迟。
2018-06-15 cs.DS cs.IT math.IT
Quad Length Codes for Lossless Compression of e4m3
Google LLC（谷歌公司）
本文提出四长度编码，结合压缩效率与解码速度，适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
Space-Efficient Huffman Codes Revisited
规范哈夫曼码是一种最佳的无前缀压缩码，其码字按字典顺序排列，形成一个长度不减的二进制字列表。Gagie等人（2015）给出了这种编码的表示，能够在恒定的最差情况时间内对符号进行编码或解码。它使用空间的$σ\lg \ell_{\text{max}} + o(σ) + O(\ell_{\text{max}}^2)$位，其中$σ$和$\ell_{\text{max}}$分别是字母表大小和最大码字长度。我们改进他们的表示，以减少空间复杂度为$σ\lg \ell_{\text{max}} (1 + o(1))$位，同时保持恒定的编码和解码时间。我们的算法思想可以应用于任何规范代码。
2021-08-12 cs.DS cs.IT math.IT
Applying Compression to a Game's Network Protocol
本报告介绍了将不同的压缩算法应用于在线游戏的网络协议的结果。比较的算法实现是zlib，liblzma和我自己的基于LZ77和自适应霍夫曼编码的变体的实现。比较数据是从游戏TomeNET收集的。结果表明，自适应编码是特别有用的压缩大量的非常小的数据包。
2012-05-28 cs.IT math.IT
Redundancy-Related Bounds on Generalized Huffman Codes
本文根据各种非线性码字长度目标，提出了在无记忆信源上优化的二进制前缀码压缩率的新的上下限。与最小平均冗余编码（Huffman coding）的最知名冗余界限一样，这些都是以熵和/或输入符号的概率（通常是最可能的）的形式表示的。这里的边界，其中一些是紧的，改进了[H，H+1）中形式L的已知边界，其中H是以比特为单位的某种形式的熵（或者，在冗余目标的情况下，为0），L是也以比特为单位的长度目标。这里探讨的目标包括指数平均长度，最大逐点冗余和指数平均逐点冗余（也称为dth指数冗余）。其中第一个涉及到各种问题，涉及到加密，不确定性和无损通信;第二个涉及到香农编码和通用建模的问题。对于这两个目标，我们还探讨了相关的问题的必要条件和充分条件的最短码字的代码是一个特定的长度。
2010-10-07 cs.IT math.IT
Encoding of probability distributions for Asymmetric Numeral Systems
许多数据压缩器有规律地对熵编码的概率分布进行编码-需要最小描述长度类型的优化。规范前缀/霍夫曼编码通常只写比特序列的长度，这种方式近似概率为2的幂。在更精确的概率上操作通常允许更好的压缩比，并且例如使用算术编码和非对称数字系统家族是可能的。特别是后者的无乘法表格变体（tANS）构建自动机，通常取代霍夫曼编码，因为在类似的计算成本下更好的压缩-例如在流行的Facebook Zstandard和Apple LZFSE压缩器中。讨论了用于这种应用的概率分布的编码，特别是使用具有变形、桶近似、前缀树的基于金字塔矢量量化器（PVQ）的方法，通过附加比特提高精度，还针对tANS调整符号扩展。
2022-07-04 cs.IT math.IT
Accelerating Lossless Data Compression with GPUs
Huffman压缩是一种统计的、无损的数据压缩算法，它通过给符号分配可变长度的代码来压缩数据，频繁出现的符号被赋予比较少出现的符号更短的代码。这项工作是Huffman算法的一个修改，它允许未压缩的数据被分解成独立的可压缩和可解压缩的块，允许在多个处理器上并行压缩和解压缩。我们使用CUDA API在当前NVIDIA GPU上以及在当前Intel芯片上创建此修改后的算法的实现，并对性能结果进行比较，几乎所有测试都显示出良好的GPU性能。最后，我们讨论了高性能数据压缩在当今的超级计算生态系统的必要性。
2011-06-21 cs.GR cs.IT cs.PF
Entropy coding with Variable Length Re-writing Systems
本文介绍了一套新的分组源代码，非常适合于数据压缩。这些代码由a.l->b形式的产生式规则集定义，其中A中的a表示来自源字母表A的值，并且l、b是小比特序列。这些代码自然包含其他可变长度代码（VLC），例如霍夫曼代码。结果表明，这些代码可能有一个类似的，甚至更短的平均描述长度比霍夫曼码相同的编码和解码复杂度。描述了允许在位域中保持字典顺序的第一代码设计方法。相应的代码具有与构造它们的霍夫曼代码相同的平均描述长度（mdl）。因此，从压缩的角度来看，它们的性能优于被设计为在位域中提供字典式属性的Hu-Tucker码。第二种构造方法允许获得代码，使得边际比特概率随着序列长度的增加而收敛到0.5，并且即使编码器不知道概率分布函数也可以实现这一点。
2005-08-11 cs.IT math.IT
Asymmetric Encoding-Decoding Schemes for Lossless Data Compression
本文提出了一种不对称编码解码方案，用于在特定条件下实现更高效的无损数据压缩。
2026-01-16 cs.IT math.IT
A measure of compression gain for new symbols in data-compression
霍夫曼编码通常通过使用分组码来改进，例如3-block将是由三个字符的每个可能组合组成的字母表。我们采取的方法是从一个基本的字母表开始，并将其扩展到包括频繁出现的符号集合。我们证明了压缩消息长度的变化，通过引入一个新的聚合符号可以表示为两个熵的差异，仅依赖于引入的符号的概率和长度。该表达式独立于字母表中所有其他符号的概率。对于一个新的符号，这种信息增益的测量可以应用于数据压缩方法中。我们还表明，聚合符号字母表，而不是相互排斥的字母表有可能提供良好的压缩水平，一个简单的实验。最后，本文中定义的压缩增益也可用于特征选择。
2016-11-06 cs.IT math.IT
A Lossless Compression Technique for the Downlink Control Information Message
本文提出基于transformer模型与Arithmetic coding的无损压缩方法，利用DCI消息的时空相关性，在单小区调度场景下比Huffman coding压缩比提升21.7%，有效提升5G控制平面容量与可靠性。
2024-07-23 cs.IT math.IT
Special Cases of Encodings by Generalized Adaptive Codes
自适应（可变长度）码根据输入数据串中的先前符号将可变长度码字与正被编码的符号相关联。此类代码已在[Dragos Trinca，cs.DS/0505007]中作为一类新的非标准变长代码提出。广义自适应码（简称GA码）也在[Dragos Trinca，cs.DS/0505007]中提出，不仅作为一类新的非标准变长码，而且作为任意阶自适应码的自然推广。本文的目的是继续发展理论的变长码建立几个有趣的自适应码和其他类别的代码之间的联系。不仅从理论的角度（通过证明新的结果），但也从一个应用（通过提出几个应用）的连接进行了讨论。首先，我们证明了自适应霍夫曼编码和Lempel-Ziv编码是GA码编码的特殊情况。其次，我们证明了任何满足一定条件的（n，1，m）卷积码都可以建模为m阶自适应码。第三，我们描述了一个基于自适应码和卷积码之间的联系的密码方案，并提出了一个有见地的分析这个方案。最后，我们总结推广自适应码（p，q）-自适应码，并讨论自适应码和时变码之间的联系。
2005-08-21 cs.IT math.IT
Greedy Adaptive Compression in Signal-Plus-Noise Models
本文的目的是研究贪婪的自适应测量政策的上下文中的线性高斯测量模型的优化标准的基础上的信息增益。在连续标量测量的特殊情况下，我们提供了充分的条件下，贪婪的政策实际上是最佳的意义上最大化的净信息增益。在一般情况下，我们还讨论了贪婪策略不是最优的情况。
2012-08-17 cs.IT math.IT
A Deterministic Construction of Projection matrix for Adaptive Trajectory Compression
压缩感知技术可以从少量的测量数据中精确重构稀疏信号，在弹道压缩方面具有巨大的潜力。为了优化压缩，轨迹压缩算法需要根据轨迹的可压缩性来调整压缩比。直观地，在星光道路中移动的对象的轨迹与在蜿蜒道路中移动的对象的轨迹相比更可压缩，因此，与后者相比，在前一种情况下可实现更高的压缩。我们提出了一种支持向量回归理论的原位压缩技术，该技术可以准确地预测给定对象的平均速度的轨迹的可压缩性，然后应用压缩传感来适应轨迹的可压缩性。压缩感知的传统编码和解码过程使用预定义的字典和测量（或投影）矩阵对。然而，最佳对的选择是非平凡的和穷举的，并且对的随机选择不能保证最佳压缩性能。在本文中，我们提出了一个确定性和数据驱动的构造的投影矩阵，这是通过应用奇异值分解从数据集学习的稀疏字典。我们分析了案例研究的行人和动物的轨迹数据集，包括GPS轨迹数据从127个科目。实验结果表明，所提出的自适应压缩算法，结合确定性建设的投影矩阵，提供了显着更好的压缩性能相比，国家的最先进的替代品。
2013-07-26 cs.IT math.IT
An Adaptive-Parity Error-Resilient LZ'77 Compression Algorithm
本文提出了一种改进的容错Lempel-Ziv'77（LZ'77）算法，该算法采用自适应的奇偶校验位数量来进行错误保护。它是最近提出的错误弹性算法LZRS'77的修改版本，其在所有编码数据块上使用恒定量的奇偶校验。恒定量的奇偶校验由编码字符串的最低冗余部分限定，而自适应奇偶校验更有效地利用编码字符串的可用冗余，并且平均可以高得多。因此，所提出的算法提供了更好的编码数据的错误保护。这两种算法的性能进行了测量。比较表明，使用自适应奇偶校验有明显的改善。所提出的算法是能够纠正多达几倍的错误，而原来的算法的压缩性能几乎保持不变。
2008-04-18 cs.IT math.IT
Non-Adaptive Distributed Compression in Networks
在本文中，我们讨论了非自适应分布式压缩节点间相关的实值消息。要做到这一点，我们讨论了传统的数据包通过路由转发的性能，在总的网络负载与所产生的服务质量（失真水平）。作为一个更好的替代数据包转发，我们简要地描述了我们以前提出的一步量化网络编码（QNC），并使激励参数的优势时，适当的边际速率分布式信源编码是不可用的编码器源节点。我们还得到分析保证我们的一步QNC方案所产生的失真。最后，我们得出结论，通过提供一步QNC和传统的数据包转发的总网络负载之间的数学比较，一步QNC的情况下显着减少。
2013-01-25 cs.IT math.IT
Optimal alphabet for single text compression
Alikhanyan National Laboratory (Yerevan Physics Institute)（阿里哈尼扬国家实验室（埃里温物理研究所））；Envoy Media Group（Envoy传媒集团）
使用来自给定字母表的符号书写的文本可以使用霍夫曼代码压缩，这最小化了编码文本的长度。然而，有必要采用文本特定的码本，即符号-码字字典来解码原始文本。因此，压缩性能应该通过完整的码长来评估，即编码文本的长度加上码本的长度。我们研究了几种用于压缩文本的字母表--字母、字母的n-gram、音节、单词和短语。如果只保留足够短的文本，则字母表或两克字母是最佳的。对于大多数古腾堡计划文本，最佳字母表（最小化完整代码长度的字母表）由音节或单词给出，这取决于码本的表示。字母3和4-gram的平均长度与音节/单词相当，表现明显不如音节或单词。单词2-grams也从来都不是最好的字母表，因为它有一个非常大的密码本。我们还表明，码本表示是重要的-从一个天真的表示切换到一个紧凑的显着改善了大量的符号，最显着的话，字母表的事项。因此，语言中表达意义的元素（音节或单词）提供了最好的压缩字母表。
2022-07-31 cs.CL cs.IT math.IT
SimpleTrack:Adaptive Trajectory Compression with Deterministic Projection Matrix for Mobile Sensor Networks
一些移动传感器网络应用要求传感器节点将其轨迹传输到数据宿。提出了一种基于压缩感知的自适应轨迹（有损）压缩算法。该算法有两个创新要素。首先，我们提出了一种方法来计算一个确定性的投影矩阵从学习字典。其次，我们提出了一种移动节点的移动节点的速度的基础上，自适应预测所需的投影的数量的方法。使用6个数据集的广泛评估表明，我们提出的算法可以实现亚米精度。此外，我们的方法计算投影矩阵优于现有的两种方法。最后，我们的算法与一个国家的最先进的轨迹压缩算法的比较表明，我们的算法可以减少10-60厘米的错误，为相同的压缩比。
2014-04-23 cs.IT cs.NI math.IT
Kimad: Adaptive Gradient Compression with Bandwidth Awareness
KAUST（阿卜杜拉国王科技大学）；HKUST（香港科技大学）
针对分布式训练中的通信瓶颈问题，提出具备带宽感知能力的自适应梯度压缩方案Kimad，可根据实时带宽动态调整各神经网络层的压缩比，经测试验证性能优异，成为该领域的基准方案。
2023-12-13 cs.DC cs.IT cs.LG
Adaptive Compression for Communication-Efficient Distributed Training
KAUST（阿卜杜拉国王科技大学）；Institut Polytechnique de Paris（巴黎理工学院）；MIPT（莫斯科物理技术学院）
我们提出了自适应压缩梯度下降（AdaCGD）-一种新的优化算法，用于具有自适应压缩级别的监督机器学习模型的通信有效训练。我们的方法受到Richtarik等人（2022）最近提出的三点压缩器（3 PC）框架的启发，其中包括误差反馈（EF 21），惰性聚合梯度（LAG）及其组合作为特例，并在弱假设下提供了这些方法的当前最先进的速率。虽然上述机制提供了固定的压缩级别，或者仅在两个极端之间进行适应，但我们的建议是执行更精细的适应。特别地，我们允许用户选择任意数量的任意选择的压缩压缩机制，例如具有用户定义的稀疏化级别K的Top-K稀疏化，或者具有用户定义的量化级别选择的量化，或者它们的组合。AdaCGD在优化过程中自适应地选择合适的压缩器和压缩级别。除了i）提出一种理论上的多自适应通信压缩机制之外，我们还ii）将3 PC框架扩展到双向压缩，即，我们允许服务器也进行压缩，以及iii）在强凸、凸和非凸设置中提供尖锐的收敛边界。凸政权的结果是新的，即使是我们的一般机制，包括3 PC和EF 21的几个关键的特殊情况。在所有的制度，我们的利率优于所有现有的自适应压缩方法。
2022-10-31 cs.DC cs.IT cs.LG
Distributed and Rate-Adaptive Feature Compression
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Army Research Laboratory（陆军研究实验室）
针对线性回归中分布式传感器通信速率时变的问题，提出基于一维投影量化的分布式速率自适应特征压缩方案，并通过仿真验证其有效性。
2024-04-02 cs.AI cs.IT math.IT
Adaptive Transform Coding for Semantic Compression
Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）
本文提出一种自适应变换编码方法，用于语义特征压缩，通过高斯混合模型的条件率-失真函数指导，实现高效编码异质特征分布，实验表明其优于或与现有神经压缩方法相当，同时保持灵活性和可解释性。
2026-04-29 cs.CV cs.IT eess.IV
DeepCABAC: Context-adaptive binary arithmetic coding for deep neural network compression
Fraunhofer Heinrich-Hertz Institut（弗劳恩霍夫海因里希·赫兹研究所）
我们提出了DeepCABAC，一种用于压缩深度神经网络的新型上下文自适应二进制算术编码器。它通过最小化加权率失真函数来量化每个权重参数，这隐含地考虑了量化对网络精度的影响。随后，它将量化值压缩成具有最小冗余的比特流表示。我们表明，DeepCABAC能够在各种不同的网络架构和数据集上达到非常高的压缩比。例如，我们能够将VGG16 ImageNet模型压缩到x63.6，而不会损失准确性，因此能够仅用8.7MB来表示整个网络。
2019-05-15 cs.AI cs.IT cs.LG
Decentralized Uplink Adaptive Compression for Cell-Free MIMO with Limited Fronthaul
针对前传容量受限的无蜂窝MIMO上行压缩问题，提出基于速率的自适应压缩方法，可动态调整维度与压缩参数，通过解耦容量表达式实现低开销分布式部署，性能接近集中式方案。
2025-06-12 cs.IT cs.NI cs.SY
