An Optimized Huffmans Coding by the method of Grouping
数据压缩不仅在通信领域，而且在各种科学实验中都是必不可少的。接收的数据越来越多，所需的处理时间也越来越长。算法的重大变化将有助于优化处理速度。随着物联网等技术的发明和机器学习等技术的出现，需要压缩数据。例如，训练人工神经网络需要大量的数据，这些数据应该在很短的时间间隔内进行处理和训练，压缩将非常有帮助。需要越来越快地处理数据。在本文中，我们提出了一种方法，减少数据的大小。这种方法被称为优化霍夫曼编码。在Huffmans编码中，我们对消息进行编码以减少数据，并且在优化的Huffmans编码中，我们在很大程度上压缩数据，这有助于各种信号处理算法，并且在许多应用中具有优势。在本文中，我们提出了优化的哈夫曼编码方法的文本压缩。这种方法比普通的Huffmans编码有很多优点。这里提出的这个算法说，每个字母都可以分组在一起并编码，这不仅减少了大小，而且还减少了解码所需的霍夫曼树数据，从而减少了数据大小。这种方法具有巨大的科学应用价值。
2016-07-28 cs.IT math.IT
$D$-ary Bounded-Length Huffman Coding
有效的最佳前缀编码早已通过霍夫曼算法实现。然而，关于霍夫曼问题的变体，仍然有改进和探索的空间。对许多实际应用有用的长度受限霍夫曼编码就是这样一种变体，其中代码被限制为其中没有$n$码字长于给定长度$l_{\max}$的代码集合。二进制长度受限编码可以通过广泛使用的Package-Merge算法在$O(n l_{\max})$时间和O（n）空间中完成。在本文中的包合并的方法是广义的，而不增加复杂性，以引入一个最小的码字长度，$l_{\min}$，允许目标函数以外的预期码字长度的最小化，并适用于二进制和非二进制代码;非二进制代码以前使用较慢的动态规划方法来解决。这些扩展具有各种应用-包括更快的解压缩-并且可以用于解决找到具有有限边缘的最佳代码的问题，即在最长和最短码字之间具有最大差异的代码中找到最佳代码。以前提出的解决这个问题的方法是非多项式时间，而解决这个使用新算法只需要$O(n (l_{\max}- l_{\min})^2)$时间和O（n）空间。
2007-04-17 cs.DS cs.IT math.IT
Generalizations of Length Limited Huffman Coding for Hierarchical Memory Settings
在本文中，我们研究的问题，设计无前缀的编码方案具有最小的平均码长，可以有效地解码下的解码成本模型，捕获存储层次结构引起的成本函数。我们还研究了这个问题的一个特殊情况下，是密切相关的长度有限的霍夫曼编码（LLHC）的问题，我们称之为{ \em软长度有限的霍夫曼编码}的问题。在此版本中，存在与编码超过指定界限$D$（$\leq n$）的字母表中的每个$n$字符相关联的惩罚，其中惩罚随着编码超过$D$的长度而线性增加。该问题的目标是找到一个无前缀的编码具有最小的平均代码长度和总惩罚内预先指定的界限${\cal P}$。这概括了LLHC问题。我们提出了一个算法来解决这个问题，运行在时间$O( nD )$。我们研究了进一步的推广，其中的惩罚函数和目标函数都可以是任意的单调非递减函数的码字长度。我们提供基于动态规划的精确和PTAS算法。
2021-10-20 cs.DS cs.IT math.IT
A Dynamic Programming Approach To Length-Limited Huffman Coding
长度受限霍夫曼编码算法中的“最先进的”是Hirschberg和Larmore的$Θ(ND)$ -时间，$Θ(N)$ -空间算法之一，其中$D\le N$是对代码的长度限制。这是一个非常聪明，非常具体的问题，技术。在这篇文章中，我们证明了有一个简单的动态规划（DP）方法，解决了相同的时间和空间界限的问题。事实上，有一个$Θ(ND)$时间DP算法是以前已知的;它是一个简单的DP与蒙赫属性（这允许一个数量级的加速）。不过，这并不有趣，因为它还需要$Θ(ND)$空间。本文的主要成果是为减少空间开发的技术。它是相当简单的，适用于许多其他问题的DP与Monge性质建模。我们说明了这一点，从Web代理设计和无线移动寻呼的例子。
2008-06-30 cs.DS cs.IT math.IT
Writing on the Facade of RWTH ICT Cubes: Cost Constrained Geometric Huffman Coding
在这项工作中，开发了一种称为成本约束几何霍夫曼编码（ccGhc）的编码技术。ccGhc最小化受到仿射不等式约束的二元概率质量函数（pmf）和目标pmf之间的Kullback-Leibler距离。分析证明，当CCGHC被施加到块的符号，最佳是渐近实现时，块长度趋于无穷大。CCGHC的推导是出于将文本编码为符合建筑设计标准的一系列板条的问题。对于所考虑的架构问题，对于块长度为3，ccGhc找到的代码符合设计标准。对于具有平均成本约束的通信信道，ccGHC可以用于有效地找到可证明容量实现的无前缀调制码。
2011-06-28 cs.IT math.IT
Grassmannian Beamforming for MIMO-OFDM Systems with Frequency and Spatially Correlated Channels Using Huffman Coding
多输入多输出（MIMO）预编码是可以显著增强通信链路的有效方案。然而，这种增强是有代价的。许多预编码方案需要在发射机处通过来自接收机的反馈获得的信道知识。针对正交频分复用（OFDM）和MIMO的自然共同融合，利用频域和空间域的信道相关性来降低频分双工（FDD）系统中所需的反馈速率。建议的反馈方法是基于霍夫曼编码，并在这里采用的单流的情况下。该方法导致所需的反馈速率的显着降低，而没有任何性能损失。所提出的方法可以扩展到多流的情况。
2009-07-27 cs.IT math.IT
Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding
现代数据压缩主要基于两种熵编码方法：霍夫曼编码（HC）和算术/距离编码（AC）。前者要快得多，但近似概率为2的幂，通常导致相对较低的压缩率。后者使用几乎精确的概率-很容易接近理论压缩率极限（香农熵），但代价是更大的计算成本。非对称数字系统（ANS）是一种精确熵编码的新方法，它允许结束速度和速率之间的这种权衡：最近的实现[1]提供了比256大小字母表的HC快大约$50\%$的解码，压缩率类似于AC提供的压缩率。这个优点是由于比AC更简单：使用单个自然数作为状态，而不是两个来表示范围。除了简化重正化，它还允许将给定概率分布的整个行为放入一个相对较小的表中：定义熵编码自动机。对于256大小的字母表，这样的表的存储器成本是几个字节。在选择特定表时有很大的自由度-为此目的使用用加密密钥初始化的伪随机数生成器允许同时加密数据。本文还介绍和讨论了这种新的熵编码方法的许多其他变体，这些变体可以为标准AC、大字母范围编码或近似的准算术编码提供直接的替代方案。
2014-01-06 cs.IT math.IT
First-Come-First-Served for Online Slot Allocation and Huffman Coding
在不知道底层分布的情况下，人们能在运行中选择一个好的霍夫曼代码吗？在线插槽分配（OSA）模型这个和类似的问题：有n个插槽，每个都有一个已知的成本。有n个项目。物品的申请单是按日抽取的。在每个请求之后，如果项目i先前未被请求，则算法（知道时隙成本和到目前为止的请求，但不知道p）必须将项目放置在某个空闲时隙j（i）中。目标是最小化项目的概率乘以其分配槽的成本的总和。最佳离线算法很简单：将最可能的物品放在最便宜的位置，将第二可能的物品放在第二便宜的位置，等等。最佳在线算法是先到先得（FCFS）：把第一个要求的项目在最便宜的插槽，第二个任何在线算法的最优竞争比对于一般成本是1+H（n-1）~ ln n，对于凹成本是2。对于对数成本，该比率渐进地为1：FCFS给出成本opt + O（log opt）。对于Huffman编码，FCFS产生一个在线算法（根据需要分配码字，而不知道潜在的概率分布），保证渐进最优成本：至多opt + 2 log（1+opt）+ 2。
2013-10-07 cs.DS cs.IT math.IT
Efficient Graph Compression Using Huffman Coding Based Techniques
图已被广泛用于表示来自各个领域的数据。在大数据时代，信息正在以快速的速度生成，分析信息是一项挑战。已经提出了各种方法来加速数据分析并从中挖掘信息。所有这些通常涉及使用大量计算节点阵列，并通过网络传输数据。当然，由于数据量巨大，这对从数据中收集情报的任务提出了一个重大问题。因此，为了解决大数据的这些问题，使用数据压缩技术是一个可行的选择。由于图表示大多数真实世界的数据，压缩图的方法一直处于这种努力的最前沿。在本文中，我们提出的技术，通过找到特定的模式，并取代那些标识符是可变长度的，一个想法的启发霍夫曼编码压缩图。具体来说，给定一个图G =（V，E），其中V是一组顶点和E是一组边，和|V| = n，我们提出的方法来减少空间的要求，通过压缩的邻接表示相同的图。所提出的方法显示高达80%的减少是存储图形所需的空间相比，使用邻接矩阵。该方法也可以应用于其他表示。所提出的技术有助于解决与在资源有限的计算节点上的图上的计算有关的问题，以及在分布式计算的情况下减少通过网络传输数据的延迟。
2018-06-15 cs.DS cs.IT math.IT
An Upper Limit of AC Huffman Code Length in JPEG Compression
Olympus Imaging Corporation（奥林巴斯影像公司）
提出了一种计算JPEG基线编码中8 × 8块AC霍夫曼码码长上限的策略。该方法是基于DCT的几何解释，计算的限制是接近14%的最大码长。所提出的策略可以适用于其他变换编码方法，例如，MPEG 2和4视频压缩，以计算相应处理块的接近的代码长度上限。
2009-01-19 cs.CC cs.CE cs.CV
Practical applications of Set Shaping Theory in Huffman coding
对集合形成理论最大的批评之一是缺乏实际应用。这是由于其应用的困难。事实上，从实验的角度来看，要应用这种技术，我们必须使用一个定义两个集合之间对应关系的表。然而，这种方法在实践中是不可用的，因为该表具有A^N个元素，具有A个符号和N个要编码的消息的长度。因此，只有当A和N具有低值时，这些表才能在程序中实现。不幸的是，在这些情况下，没有压缩算法具有这样的效率来检测由该方法引入的改进。在本文中，我们使用一个能够执行转换的函数，而不使用对应表;这使我们能够将该理论应用于A和N的广泛值。所得结果证实了理论预测。
2022-08-27 cs.IT math.IT
A Generic Top-Down Dynamic-Programming Approach to Prefix-Free Coding
给定一个概率分布在一组n个字被发送，霍夫曼编码问题是找到一个最小成本的前缀免费代码发送这些字。基本的霍夫曼编码问题可以在O（n log n）时间内解决，但变化更困难。用于解决这些变化的标准技术之一利用自上而下的动态规划方法。在本文中，我们表明，这种方法是经得起动态规划加速技术，允许一个数量级的加速许多算法在文献中的混合基数，保留长度和单端编码等变化。这些加速是一个一般的结构属性，允许并行计算许多DP条目的直接影响。
2008-09-26 cs.DS cs.IT math.IT
Space-Efficient Huffman Codes Revisited
规范哈夫曼码是一种最佳的无前缀压缩码，其码字按字典顺序排列，形成一个长度不减的二进制字列表。Gagie等人（2015）给出了这种编码的表示，能够在恒定的最差情况时间内对符号进行编码或解码。它使用空间的$σ\lg \ell_{\text{max}} + o(σ) + O(\ell_{\text{max}}^2)$位，其中$σ$和$\ell_{\text{max}}$分别是字母表大小和最大码字长度。我们改进他们的表示，以减少空间复杂度为$σ\lg \ell_{\text{max}} (1 + o(1))$位，同时保持恒定的编码和解码时间。我们的算法思想可以应用于任何规范代码。
2021-08-12 cs.DS cs.IT math.IT
Bounds on the Number of Huffman and Binary-Ternary Trees
霍夫曼编码是一种广泛用于无损数据压缩的方法，因为它基于字符在霍夫曼树中出现的频率来最佳地存储数据。$n$ -ary Huffman树是一个连通的、无环的图，其中每个顶点可以有$n$“子”顶点连接到它，也可以没有子顶点。子节点为0的顶点称为\textit{leaves}。我们让$h_n(q)$表示具有$q$叶子的$n$ -ary Huffman树的总数。本文利用递归方法生成$h_n(q)$的上、下界，得到$n=2$的$h_2(q) \approx (0.1418532)(1.7941471)^q+(0.0612410)(1.2795491)^q$.这与Elsholtz，Heuberger和Schlinger在2011年8月取得的最佳结果相匹配。我们的方法揭示了我们在分析我们创建的二进制-三进制（BT）树时使用的霍夫曼树中的模式。我们的研究为数据压缩打开了一扇全新的大门，将哈夫曼树的研究扩展到BT树。我们对BT树的研究为设计特定于数据的树铺平了道路，最大限度地减少了霍夫曼编码可能浪费的存储空间。我们证明了一个递归公式的数量BT树的$q$叶。此外，我们提供了分析和进一步的证明，以达到数值界。我们的发现在计算机数据压缩中有着广泛的应用。这些结果还改进了蛋白质序列的图形表示，有助于研究进化模式中使用的深入基因组分析。
2013-03-21 cs.IT math.IT
Redundancy-Related Bounds on Generalized Huffman Codes
本文根据各种非线性码字长度目标，提出了在无记忆信源上优化的二进制前缀码压缩率的新的上下限。与最小平均冗余编码（Huffman coding）的最知名冗余界限一样，这些都是以熵和/或输入符号的概率（通常是最可能的）的形式表示的。这里的边界，其中一些是紧的，改进了[H，H+1）中形式L的已知边界，其中H是以比特为单位的某种形式的熵（或者，在冗余目标的情况下，为0），L是也以比特为单位的长度目标。这里探讨的目标包括指数平均长度，最大逐点冗余和指数平均逐点冗余（也称为dth指数冗余）。其中第一个涉及到各种问题，涉及到加密，不确定性和无损通信;第二个涉及到香农编码和通用建模的问题。对于这两个目标，我们还探讨了相关的问题的必要条件和充分条件的最短码字的代码是一个特定的长度。
2010-10-07 cs.IT math.IT
On Multi-Channel Huffman Codes for Asymmetric-Alphabet Channels
零误差单通道信源编码在过去的几十年里得到了广泛的研究。然而，其自然的多通道推广没有得到很好的研究。虽然十年前研究了具有多个字母表信道的特殊情况，但是在这种设置中的码在数据压缩方面没有单信道码的优势，使得它们在大多数应用中毫无价值。在本文中，我们打破了僵局，表明它是可能的，以击败单通道源代码在压缩假设不对称字母表通道。本文对单通道信源编码中的几个经典结果进行了多通道模拟，如多通道Huffman码是最优树可译码码。我们还展示了一些证据，找到一个有效的多通道霍夫曼码的建设可能是困难的。然而，我们提出了一个次优的代码结构，其冗余度保证不大于最佳的单通道源代码。
2021-05-08 cs.IT math.IT
Twenty (or so) Questions: $D$-ary Length-Bounded Prefix Coding
有效的最佳前缀编码早已通过霍夫曼算法实现。然而，关于霍夫曼问题的变体，仍然有改进和探索的空间。对许多实际应用有用的长度受限霍夫曼编码就是这样一种变体，对于该变体，代码被限制为其中没有$n$码字长于给定长度$l_{\max}$的代码集合。二进制长度受限编码可以通过广泛使用的Package-Merge算法在$O(n l_{\max})$时间和O（n）空间中完成，并且使用不太知名的算法具有更小的渐近复杂度。在本文中，这些算法进行了推广，而不增加复杂性，以引入一个最小的码字长度约束$l_{\min}$，允许目标函数以外的预期码字长度的最小化，并适用于二进制和非二进制代码;非二进制代码以前使用较慢的动态规划的方法来解决。这些扩展具有各种应用--包括快速解压缩和游戏"二十步“的修改版本--并且可以用于解决寻找具有有限边缘的最佳代码的问题，即，在最长和最短码字之间具有最大差异的代码中寻找最佳代码。以前提出的解决这个问题的方法是非多项式时间的，而使用新的线性空间算法解决这个问题只需要$O(n (l_{\max}- l_{\min})^2)$时间，或者如果$l_{\max}- l_{\min}$不是$O(\log n)$，甚至更少。
2007-06-20 cs.DS cs.IT math.IT
Source Coding for Quasiarithmetic Penalties
霍夫曼编码找到一个前缀码，该前缀码对于有限数量的项上的给定概率分布最小化平均码字长度。坎贝尔将霍夫曼问题推广到一类问题，其目标不是最小化平均码字长度，而是最小化称为拟算术或拟线性平均的广义平均值。这样的一般化装置具有许多不同的应用，包括在装配中的应用。几个拟算术平均值问题在广义熵的意义下有新的简单冗余界。一个相关的性质涉及到最佳代码的存在：对于“良好的”成本函数，最佳代码总是存在于具有有限广义熵的（可能是无限字母表）源。解决这些问题的有限实例是通过推广的算法，找到长度有限的二进制代码的一个新的算法，找到最佳的二进制代码的任何quasiarithmetic平均凸成本函数。该算法可以使用二次时间和线性空间来执行，并且可以扩展到其他罚函数，其中一些罚函数可以以类似的空间和时间复杂度来求解，而其他罚函数可以以稍微更大的复杂度来求解。这降低了队列中涉及最小延迟的问题的计算复杂性，允许优化先前考虑的问题的组合，并且极大地扩展了在二次时间和线性空间中可解的问题的空间。该算法可以被扩展用于诸如打破可能不同的最佳代码之间的联系的目的，如底部合并霍夫曼编码。
2006-05-22 cs.DS cs.IT math.IT
Encoding of probability distributions for Asymmetric Numeral Systems
许多数据压缩器有规律地对熵编码的概率分布进行编码-需要最小描述长度类型的优化。规范前缀/霍夫曼编码通常只写比特序列的长度，这种方式近似概率为2的幂。在更精确的概率上操作通常允许更好的压缩比，并且例如使用算术编码和非对称数字系统家族是可能的。特别是后者的无乘法表格变体（tANS）构建自动机，通常取代霍夫曼编码，因为在类似的计算成本下更好的压缩-例如在流行的Facebook Zstandard和Apple LZFSE压缩器中。讨论了用于这种应用的概率分布的编码，特别是使用具有变形、桶近似、前缀树的基于金字塔矢量量化器（PVQ）的方法，通过附加比特提高精度，还针对tANS调整符号扩展。
2022-07-04 cs.IT math.IT
Entropy coding with Variable Length Re-writing Systems
本文介绍了一套新的分组源代码，非常适合于数据压缩。这些代码由a.l->b形式的产生式规则集定义，其中A中的a表示来自源字母表A的值，并且l、b是小比特序列。这些代码自然包含其他可变长度代码（VLC），例如霍夫曼代码。结果表明，这些代码可能有一个类似的，甚至更短的平均描述长度比霍夫曼码相同的编码和解码复杂度。描述了允许在位域中保持字典顺序的第一代码设计方法。相应的代码具有与构造它们的霍夫曼代码相同的平均描述长度（mdl）。因此，从压缩的角度来看，它们的性能优于被设计为在位域中提供字典式属性的Hu-Tucker码。第二种构造方法允许获得代码，使得边际比特概率随着序列长度的增加而收敛到0.5，并且即使编码器不知道概率分布函数也可以实现这一点。
2005-08-11 cs.IT math.IT
Dynamic Shannon Coding
本文提出了一种基于Shannon编码的动态无前缀编码算法。我们给出了一个简单的分析，并证明了一个更好的上界的长度产生的编码比相应的动态霍夫曼编码的界限。我们展示了如何我们的算法可以修改为有效的长度限制编码，字母编码和编码不平等的字母成本。
2005-03-30 cs.IT math.IT
Twenty Questions Games Always End With Yes
霍夫曼编码通常被认为是二十个问题的最佳解决方案。然而，需要注意的是，二十个问题游戏总是以“是”的回答结束，而霍夫曼码字不需要遵守这个约束。我们解决了这个问题，并证明了问题的平均数仍然位于H（X）和H（X）+1之间。
2010-02-26 cs.DM cs.IT math.IT
Reserved-Length Prefix Coding
霍夫曼编码为给定的概率质量函数找到最佳前缀码。考虑这样的情况，其中希望找到具有所有码字具有位于用户指定的长度集合中的长度（或者，等效地，没有码字具有位于互补集合中的长度）的限制的最优代码。本文介绍了一个多项式时间的动态规划算法，找到这个保留长度前缀编码问题的最佳代码。这具有快速编码和解码无损代码的应用。此外，该方法的一种修改解决了任何准算术前缀编码问题，而另一种修改找到了限于具有针对用户指定的g的g码字长度的代码集合的最佳代码（例如，g=2）。
2007-12-30 cs.DS cs.IT math.IT
Compressed Relaying for Two-Way Relay Networks with Correlated Sources
本文提出了一种基于Huffman和物理层网络编码（HPNC）的双向相关源中继网络（TWRN-CS）的压缩中继方案。在HPNC方案中，两个源首先同时向中继发送相关的原始源消息。中继器对接收到的符号执行物理层网络编码（PNC），使用霍夫曼编码来压缩PNC编码的符号，并将压缩的符号广播到两个源节点。然后，每个源通过使用其自己的消息作为边信息来解码另一个源的消息。分析了该方案的压缩比和误块率出错率。仿真结果表明，在TWRN-CS中，与传统的非压缩中继方案相比，HPNC方案能有效提高网络吞吐量，同时获得更好的误码率性能。
2014-10-26 cs.IT math.IT
Source Coding with Free Bits and the Multi-Way Number Partitioning Problem
Isfahan University of Technology（伊斯法罕理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的信源编码方法，用于通过两个并行信道传输信息，并将其与多方式数字分组问题联系起来，通过改进的霍夫曼编码算法解决该问题。
2026-01-29 cs.DS cs.IT math.CO
Quad Length Codes for Lossless Compression of e4m3
Google LLC（谷歌公司）
本文提出四长度编码，结合压缩效率与解码速度，适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
On Real-Time and Causal Secure Source Coding
研究了两个带保密约束的信源编码问题。在第一个问题中，我们考虑无记忆信源的实时的完全安全传输。我们表明，虽然经典的可变速率编码是不是一个选项，因为码字的长度泄漏源上的信息，关键率可以低至平均霍夫曼码字长度的源。在第二个问题中，我们考虑因果信源编码的保真度标准和边信息的解码器和窃听器。我们表明，当窃听者有退化的边信息，它是最佳的，首先使用因果率失真码，然后用一个密钥加密其输出。
2012-05-15 cs.IT math.IT
Multi-answer Constrained Optimal Querying: Maximum Information Gain Coding
针对多答案约束查询问题，提出最大信息增益编码（MIGC），推广GBSC至D元情况，理论证明最优性，并在实际场景中优于GBSC和香农编码。
2024-05-27 cs.IT math.IT
Higher Order Context Transformations
最近提出的上下文变换和广义上下文变换方法，通过交换符号图来降低零阶熵，从而消除了输入信息中连续符号间的互信息。这些变换旨在用作零阶熵编码算法（如算术编码或霍夫曼编码）的预处理器，因为我们知道，特别是算术编码可以实现几乎与香农熵大小相同的压缩率。本文介绍了一种新的算法的基础上的概念，广义的上下文转换，允许转换的单词比简单的digram长。高阶上下文利用递归形式的广义上下文变换。结果表明，变换后的数据的零阶熵显着下降，但在另一方面，由单个变换的描述给出的开销增加，它已成为一个限制因素，在一个成功的较小的文件转换。
2017-01-05 cs.IT math.IT
Optimal Merging Algorithms for Lossless Codes with Generalized Criteria
本文提出了无损前缀码优化支付标准组成的最大码字长度和平均码字长度的凸组合。最佳码字长度是基于一种新的编码算法，该算法根据合并规则将初始源概率向量转换为新的概率向量。该编码算法等价于将源字母表划分为不相交的集合，在该集合上，新的变换后的概率向量被定义为初始源概率向量和标量参数的函数。所考虑的支付标准包括最大和平均码字长度之间的权衡;它与由平均码字长度和平均码字长度的指数函数的凸组合组成的支付标准有关，并且与受到有限长度约束的平均码字长度支付标准有关。第一个相关的支付的一个特殊情况是连接到编码问题，涉及源概率的不确定性和码字溢出概率，而第二个相关的支付恭维有限长度的霍夫曼编码算法。
2012-08-06 cs.IT math.IT
Run-Length Encoding in a Finite Universe
文本压缩方案和紧凑数据结构通常将复杂的概率模型与基本编码方法相结合，其平均码字长度与已知分布的熵紧密匹配。在基本编码表示具有概率$p$（即几何分布$\Pr(i)=p^i(1-p)$）的结果的游程长度的常见情况下，\emph{Golomb code}是最佳瞬时码，其具有额外的优点，即可以仅使用从$p$计算的整数参数来计算码字，而不需要大的或复杂的数据结构。然而，Golomb编码不能优雅地处理游程长度由已知整数~ $n$限制的情况。在这种情况下，为情况$i>n$分配的码字被浪费。虽然对于大的$n$可以忽略，但是这使得Golomb编码在$n$递归地小的情况下没有吸引力，例如，当表示从有限范围中抽取的整数的许多短列表时，或者当通过递归算法缩小$n$的范围时。我们解决的问题，选择一个代码的情况下，从信息理论和计算的角度考虑效率，并在一个简单的代码，允许计算一个码字只使用$O(1)$简单的计算机操作和$O(1)$机器字。我们的实验表明，所得到的表示长度是非常接近（在大多数测试情况下相等）的最佳霍夫曼码，在某种程度上，预期的差异几乎可以忽略不计。我们描述了有效的分支无实现的编码和解码。
2019-10-01 cs.DS cs.IT math.IT
Nonasymptotic coding-rate bounds for binary erasure channels with feedback
我们提出了非渐近可扩展性和逆界的最大编码速率（固定的平均错误概率和固定的平均块长度）的可变长度全反馈（VLF）和可变长度停止反馈（VLSF）码操作在一个二进制擦除信道（BEC）。对于VLF设置，可重复性界限依赖于将每个消息映射到可变长度霍夫曼码字上并且然后重复码字的每个比特直到其被正确接收的方案。逆界的灵感来自Polyanskiy，Poor和Verdú（2010）的元逆框架，并依赖于二元序列假设检验。对于零错误概率的情况，我们的可扩展性和逆界匹配。对于VLSF的情况下，我们提供的可扩展性界限，利用以下功能的BEC：解码器可以评估其估计的正确性，通过验证所选择的码字是否是唯一一个是兼容的擦除模式。其中一个界限是通过分析随机线性喷泉码的可变长度扩展的性能得到的。当消息数量很小时，VLSF可扩展性和VLF逆界之间的差距是显著的：$23\%$对于具有擦除概率的BEC上的8个消息$0.5.$缺乏紧密的VLSF逆界不允许我们评估这个差距是否是根本的。
2016-07-22 cs.IT math.IT
A Gallager-Type Redundancy Bound for Binary Shannon-Fano Coding
Saarland University（萨尔兰州立大学）
研究二进制香农 - 法诺编码冗余界，通过构建法诺树等方法，得出依赖最大源概率\(p_1\)的显式七段包络，是首个此类冗余界。
2026-07-07 cs.IT math.IT math.PR
