Writing on the Facade of RWTH ICT Cubes: Cost Constrained Geometric Huffman Coding
在这项工作中，开发了一种称为成本约束几何霍夫曼编码（ccGhc）的编码技术。ccGhc最小化受到仿射不等式约束的二元概率质量函数（pmf）和目标pmf之间的Kullback-Leibler距离。分析证明，当CCGHC被施加到块的符号，最佳是渐近实现时，块长度趋于无穷大。CCGHC的推导是出于将文本编码为符合建筑设计标准的一系列板条的问题。对于所考虑的架构问题，对于块长度为3，ccGhc找到的代码符合设计标准。对于具有平均成本约束的通信信道，ccGHC可以用于有效地找到可证明容量实现的无前缀调制码。
2011-06-28 cs.IT math.IT
Grassmannian Beamforming for MIMO-OFDM Systems with Frequency and Spatially Correlated Channels Using Huffman Coding
多输入多输出（MIMO）预编码是可以显著增强通信链路的有效方案。然而，这种增强是有代价的。许多预编码方案需要在发射机处通过来自接收机的反馈获得的信道知识。针对正交频分复用（OFDM）和MIMO的自然共同融合，利用频域和空间域的信道相关性来降低频分双工（FDD）系统中所需的反馈速率。建议的反馈方法是基于霍夫曼编码，并在这里采用的单流的情况下。该方法导致所需的反馈速率的显着降低，而没有任何性能损失。所提出的方法可以扩展到多流的情况。
2009-07-27 cs.IT math.IT
Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding
现代数据压缩主要基于两种熵编码方法：霍夫曼编码（HC）和算术/距离编码（AC）。前者要快得多，但近似概率为2的幂，通常导致相对较低的压缩率。后者使用几乎精确的概率-很容易接近理论压缩率极限（香农熵），但代价是更大的计算成本。非对称数字系统（ANS）是一种精确熵编码的新方法，它允许结束速度和速率之间的这种权衡：最近的实现[1]提供了比256大小字母表的HC快大约$50\%$的解码，压缩率类似于AC提供的压缩率。这个优点是由于比AC更简单：使用单个自然数作为状态，而不是两个来表示范围。除了简化重正化，它还允许将给定概率分布的整个行为放入一个相对较小的表中：定义熵编码自动机。对于256大小的字母表，这样的表的存储器成本是几个字节。在选择特定表时有很大的自由度-为此目的使用用加密密钥初始化的伪随机数生成器允许同时加密数据。本文还介绍和讨论了这种新的熵编码方法的许多其他变体，这些变体可以为标准AC、大字母范围编码或近似的准算术编码提供直接的替代方案。
2014-01-06 cs.IT math.IT
$D$-ary Bounded-Length Huffman Coding
有效的最佳前缀编码早已通过霍夫曼算法实现。然而，关于霍夫曼问题的变体，仍然有改进和探索的空间。对许多实际应用有用的长度受限霍夫曼编码就是这样一种变体，其中代码被限制为其中没有$n$码字长于给定长度$l_{\max}$的代码集合。二进制长度受限编码可以通过广泛使用的Package-Merge算法在$O(n l_{\max})$时间和O（n）空间中完成。在本文中的包合并的方法是广义的，而不增加复杂性，以引入一个最小的码字长度，$l_{\min}$，允许目标函数以外的预期码字长度的最小化，并适用于二进制和非二进制代码;非二进制代码以前使用较慢的动态规划方法来解决。这些扩展具有各种应用-包括更快的解压缩-并且可以用于解决找到具有有限边缘的最佳代码的问题，即在最长和最短码字之间具有最大差异的代码中找到最佳代码。以前提出的解决这个问题的方法是非多项式时间，而解决这个使用新算法只需要$O(n (l_{\max}- l_{\min})^2)$时间和O（n）空间。
2007-04-17 cs.DS cs.IT math.IT
Practical applications of Set Shaping Theory in Huffman coding
对集合形成理论最大的批评之一是缺乏实际应用。这是由于其应用的困难。事实上，从实验的角度来看，要应用这种技术，我们必须使用一个定义两个集合之间对应关系的表。然而，这种方法在实践中是不可用的，因为该表具有A^N个元素，具有A个符号和N个要编码的消息的长度。因此，只有当A和N具有低值时，这些表才能在程序中实现。不幸的是，在这些情况下，没有压缩算法具有这样的效率来检测由该方法引入的改进。在本文中，我们使用一个能够执行转换的函数，而不使用对应表;这使我们能够将该理论应用于A和N的广泛值。所得结果证实了理论预测。
2022-08-27 cs.IT math.IT
Generalizations of Length Limited Huffman Coding for Hierarchical Memory Settings
在本文中，我们研究的问题，设计无前缀的编码方案具有最小的平均码长，可以有效地解码下的解码成本模型，捕获存储层次结构引起的成本函数。我们还研究了这个问题的一个特殊情况下，是密切相关的长度有限的霍夫曼编码（LLHC）的问题，我们称之为{ \em软长度有限的霍夫曼编码}的问题。在此版本中，存在与编码超过指定界限$D$（$\leq n$）的字母表中的每个$n$字符相关联的惩罚，其中惩罚随着编码超过$D$的长度而线性增加。该问题的目标是找到一个无前缀的编码具有最小的平均代码长度和总惩罚内预先指定的界限${\cal P}$。这概括了LLHC问题。我们提出了一个算法来解决这个问题，运行在时间$O( nD )$。我们研究了进一步的推广，其中的惩罚函数和目标函数都可以是任意的单调非递减函数的码字长度。我们提供基于动态规划的精确和PTAS算法。
2021-10-20 cs.DS cs.IT math.IT
A Dynamic Programming Approach To Length-Limited Huffman Coding
长度受限霍夫曼编码算法中的“最先进的”是Hirschberg和Larmore的$Θ(ND)$ -时间，$Θ(N)$ -空间算法之一，其中$D\le N$是对代码的长度限制。这是一个非常聪明，非常具体的问题，技术。在这篇文章中，我们证明了有一个简单的动态规划（DP）方法，解决了相同的时间和空间界限的问题。事实上，有一个$Θ(ND)$时间DP算法是以前已知的;它是一个简单的DP与蒙赫属性（这允许一个数量级的加速）。不过，这并不有趣，因为它还需要$Θ(ND)$空间。本文的主要成果是为减少空间开发的技术。它是相当简单的，适用于许多其他问题的DP与Monge性质建模。我们说明了这一点，从Web代理设计和无线移动寻呼的例子。
2008-06-30 cs.DS cs.IT math.IT
Generalized Huffman Coding for Binary Trees with Choosable Edge Lengths
在本文中，我们研究的二叉树与可选的边缘长度，特别是根二叉树的属性，导致从每个非叶到它的两个孩子的两条边被分配整数长度$l_1$和$l_2$与$l_1+l_2 =k$为常数$k\in\mathbb{N}$。叶的深度是唯一根叶路径的边的总长度.我们提出了一个推广的霍夫曼编码，可以决定在多项式时间内，如果给定的值$d_1,...,d_n\in\mathbb{N}_{\geq 0}$有一个有根二叉树的可选择的边长度与$n$叶的深度最多$d_1,..., d_n$ .
2014-09-12 cs.DS cs.IT math.CO
Bounds on the Number of Huffman and Binary-Ternary Trees
霍夫曼编码是一种广泛用于无损数据压缩的方法，因为它基于字符在霍夫曼树中出现的频率来最佳地存储数据。$n$ -ary Huffman树是一个连通的、无环的图，其中每个顶点可以有$n$“子”顶点连接到它，也可以没有子顶点。子节点为0的顶点称为\textit{leaves}。我们让$h_n(q)$表示具有$q$叶子的$n$ -ary Huffman树的总数。本文利用递归方法生成$h_n(q)$的上、下界，得到$n=2$的$h_2(q) \approx (0.1418532)(1.7941471)^q+(0.0612410)(1.2795491)^q$.这与Elsholtz，Heuberger和Schlinger在2011年8月取得的最佳结果相匹配。我们的方法揭示了我们在分析我们创建的二进制-三进制（BT）树时使用的霍夫曼树中的模式。我们的研究为数据压缩打开了一扇全新的大门，将哈夫曼树的研究扩展到BT树。我们对BT树的研究为设计特定于数据的树铺平了道路，最大限度地减少了霍夫曼编码可能浪费的存储空间。我们证明了一个递归公式的数量BT树的$q$叶。此外，我们提供了分析和进一步的证明，以达到数值界。我们的发现在计算机数据压缩中有着广泛的应用。这些结果还改进了蛋白质序列的图形表示，有助于研究进化模式中使用的深入基因组分析。
2013-03-21 cs.IT math.IT
Redundancy-Related Bounds on Generalized Huffman Codes
本文根据各种非线性码字长度目标，提出了在无记忆信源上优化的二进制前缀码压缩率的新的上下限。与最小平均冗余编码（Huffman coding）的最知名冗余界限一样，这些都是以熵和/或输入符号的概率（通常是最可能的）的形式表示的。这里的边界，其中一些是紧的，改进了[H，H+1）中形式L的已知边界，其中H是以比特为单位的某种形式的熵（或者，在冗余目标的情况下，为0），L是也以比特为单位的长度目标。这里探讨的目标包括指数平均长度，最大逐点冗余和指数平均逐点冗余（也称为dth指数冗余）。其中第一个涉及到各种问题，涉及到加密，不确定性和无损通信;第二个涉及到香农编码和通用建模的问题。对于这两个目标，我们还探讨了相关的问题的必要条件和充分条件的最短码字的代码是一个特定的长度。
2010-10-07 cs.IT math.IT
On Multi-Channel Huffman Codes for Asymmetric-Alphabet Channels
零误差单通道信源编码在过去的几十年里得到了广泛的研究。然而，其自然的多通道推广没有得到很好的研究。虽然十年前研究了具有多个字母表信道的特殊情况，但是在这种设置中的码在数据压缩方面没有单信道码的优势，使得它们在大多数应用中毫无价值。在本文中，我们打破了僵局，表明它是可能的，以击败单通道源代码在压缩假设不对称字母表通道。本文对单通道信源编码中的几个经典结果进行了多通道模拟，如多通道Huffman码是最优树可译码码。我们还展示了一些证据，找到一个有效的多通道霍夫曼码的建设可能是困难的。然而，我们提出了一个次优的代码结构，其冗余度保证不大于最佳的单通道源代码。
2021-05-08 cs.IT math.IT
First-Come-First-Served for Online Slot Allocation and Huffman Coding
在不知道底层分布的情况下，人们能在运行中选择一个好的霍夫曼代码吗？在线插槽分配（OSA）模型这个和类似的问题：有n个插槽，每个都有一个已知的成本。有n个项目。物品的申请单是按日抽取的。在每个请求之后，如果项目i先前未被请求，则算法（知道时隙成本和到目前为止的请求，但不知道p）必须将项目放置在某个空闲时隙j（i）中。目标是最小化项目的概率乘以其分配槽的成本的总和。最佳离线算法很简单：将最可能的物品放在最便宜的位置，将第二可能的物品放在第二便宜的位置，等等。最佳在线算法是先到先得（FCFS）：把第一个要求的项目在最便宜的插槽，第二个任何在线算法的最优竞争比对于一般成本是1+H（n-1）~ ln n，对于凹成本是2。对于对数成本，该比率渐进地为1：FCFS给出成本opt + O（log opt）。对于Huffman编码，FCFS产生一个在线算法（根据需要分配码字，而不知道潜在的概率分布），保证渐进最优成本：至多opt + 2 log（1+opt）+ 2。
2013-10-07 cs.DS cs.IT math.IT
An Upper Limit of AC Huffman Code Length in JPEG Compression
Olympus Imaging Corporation（奥林巴斯影像公司）
提出了一种计算JPEG基线编码中8 × 8块AC霍夫曼码码长上限的策略。该方法是基于DCT的几何解释，计算的限制是接近14%的最大码长。所提出的策略可以适用于其他变换编码方法，例如，MPEG 2和4视频压缩，以计算相应处理块的接近的代码长度上限。
2009-01-19 cs.CC cs.CE cs.CV
Encoding of probability distributions for Asymmetric Numeral Systems
许多数据压缩器有规律地对熵编码的概率分布进行编码-需要最小描述长度类型的优化。规范前缀/霍夫曼编码通常只写比特序列的长度，这种方式近似概率为2的幂。在更精确的概率上操作通常允许更好的压缩比，并且例如使用算术编码和非对称数字系统家族是可能的。特别是后者的无乘法表格变体（tANS）构建自动机，通常取代霍夫曼编码，因为在类似的计算成本下更好的压缩-例如在流行的Facebook Zstandard和Apple LZFSE压缩器中。讨论了用于这种应用的概率分布的编码，特别是使用具有变形、桶近似、前缀树的基于金字塔矢量量化器（PVQ）的方法，通过附加比特提高精度，还针对tANS调整符号扩展。
2022-07-04 cs.IT math.IT
Combinatorial Entropy Encoding
本文提出了一种新的熵编码技术用于无损数据压缩。通过其符号排列中的词典索引来表示消息字符串会导致与消息的香农熵匹配的压缩版本。商业数据压缩标准在压缩过程的某个阶段使用霍夫曼或算术编码。在所提出的方法中，像算术编码一样，整个字符串被映射到整数，但不是基于分数。与算术和霍夫曼编码不同，不需要源的先验熵模型。提出了一种基于多项式系数的简单直观的熵编码算法，该算法采用较低的比特数对较频繁的符号进行编码。通过实例验证了算法的正确性。
2017-03-23 cs.IT math.IT
Entropy coding with Variable Length Re-writing Systems
本文介绍了一套新的分组源代码，非常适合于数据压缩。这些代码由a.l->b形式的产生式规则集定义，其中A中的a表示来自源字母表A的值，并且l、b是小比特序列。这些代码自然包含其他可变长度代码（VLC），例如霍夫曼代码。结果表明，这些代码可能有一个类似的，甚至更短的平均描述长度比霍夫曼码相同的编码和解码复杂度。描述了允许在位域中保持字典顺序的第一代码设计方法。相应的代码具有与构造它们的霍夫曼代码相同的平均描述长度（mdl）。因此，从压缩的角度来看，它们的性能优于被设计为在位域中提供字典式属性的Hu-Tucker码。第二种构造方法允许获得代码，使得边际比特概率随着序列长度的增加而收敛到0.5，并且即使编码器不知道概率分布函数也可以实现这一点。
2005-08-11 cs.IT math.IT
Efficient Graph Compression Using Huffman Coding Based Techniques
图已被广泛用于表示来自各个领域的数据。在大数据时代，信息正在以快速的速度生成，分析信息是一项挑战。已经提出了各种方法来加速数据分析并从中挖掘信息。所有这些通常涉及使用大量计算节点阵列，并通过网络传输数据。当然，由于数据量巨大，这对从数据中收集情报的任务提出了一个重大问题。因此，为了解决大数据的这些问题，使用数据压缩技术是一个可行的选择。由于图表示大多数真实世界的数据，压缩图的方法一直处于这种努力的最前沿。在本文中，我们提出的技术，通过找到特定的模式，并取代那些标识符是可变长度的，一个想法的启发霍夫曼编码压缩图。具体来说，给定一个图G =（V，E），其中V是一组顶点和E是一组边，和|V| = n，我们提出的方法来减少空间的要求，通过压缩的邻接表示相同的图。所提出的方法显示高达80%的减少是存储图形所需的空间相比，使用邻接矩阵。该方法也可以应用于其他表示。所提出的技术有助于解决与在资源有限的计算节点上的图上的计算有关的问题，以及在分布式计算的情况下减少通过网络传输数据的延迟。
2018-06-15 cs.DS cs.IT math.IT
Dynamic Shannon Coding
本文提出了一种基于Shannon编码的动态无前缀编码算法。我们给出了一个简单的分析，并证明了一个更好的上界的长度产生的编码比相应的动态霍夫曼编码的界限。我们展示了如何我们的算法可以修改为有效的长度限制编码，字母编码和编码不平等的字母成本。
2005-03-30 cs.IT math.IT
A Generic Top-Down Dynamic-Programming Approach to Prefix-Free Coding
给定一个概率分布在一组n个字被发送，霍夫曼编码问题是找到一个最小成本的前缀免费代码发送这些字。基本的霍夫曼编码问题可以在O（n log n）时间内解决，但变化更困难。用于解决这些变化的标准技术之一利用自上而下的动态规划方法。在本文中，我们表明，这种方法是经得起动态规划加速技术，允许一个数量级的加速许多算法在文献中的混合基数，保留长度和单端编码等变化。这些加速是一个一般的结构属性，允许并行计算许多DP条目的直接影响。
2008-09-26 cs.DS cs.IT math.IT
Fast Recursive Coding Based on Grouping of Symbols
提出了一种新的快速递归编码技术。它只与整数值不超过8位，是乘法自由。该算法所基于的递归间接地为非常大的字母表提供了相当有效的符号编码。所提出的技术的代码长度可以比算术编码少20-30%，在最坏的情况下，它只大1-3%。
2007-08-21 cs.IT math.IT
Molecular Arithmetic Coding (MoAC) and Optimized Molecular Prefix Coding (MoPC) for Diffusion-Based Molecular Communication
针对适配分子通信的Huffman编码非最优的问题，提出优化分子前缀编码MoPC、分子算术编码MoAC及兼具唯一可译性的MoAPC，经验证压缩与误码性能更优，为纳米尺度分子通信的信源压缩提供新方案。
2024-10-06 cs.IT math.IT
Twenty (or so) Questions: $D$-ary Length-Bounded Prefix Coding
有效的最佳前缀编码早已通过霍夫曼算法实现。然而，关于霍夫曼问题的变体，仍然有改进和探索的空间。对许多实际应用有用的长度受限霍夫曼编码就是这样一种变体，对于该变体，代码被限制为其中没有$n$码字长于给定长度$l_{\max}$的代码集合。二进制长度受限编码可以通过广泛使用的Package-Merge算法在$O(n l_{\max})$时间和O（n）空间中完成，并且使用不太知名的算法具有更小的渐近复杂度。在本文中，这些算法进行了推广，而不增加复杂性，以引入一个最小的码字长度约束$l_{\min}$，允许目标函数以外的预期码字长度的最小化，并适用于二进制和非二进制代码;非二进制代码以前使用较慢的动态规划的方法来解决。这些扩展具有各种应用--包括快速解压缩和游戏"二十步“的修改版本--并且可以用于解决寻找具有有限边缘的最佳代码的问题，即，在最长和最短码字之间具有最大差异的代码中寻找最佳代码。以前提出的解决这个问题的方法是非多项式时间的，而使用新的线性空间算法解决这个问题只需要$O(n (l_{\max}- l_{\min})^2)$时间，或者如果$l_{\max}- l_{\min}$不是$O(\log n)$，甚至更少。
2007-06-20 cs.DS cs.IT math.IT
Source Coding for Quasiarithmetic Penalties
霍夫曼编码找到一个前缀码，该前缀码对于有限数量的项上的给定概率分布最小化平均码字长度。坎贝尔将霍夫曼问题推广到一类问题，其目标不是最小化平均码字长度，而是最小化称为拟算术或拟线性平均的广义平均值。这样的一般化装置具有许多不同的应用，包括在装配中的应用。几个拟算术平均值问题在广义熵的意义下有新的简单冗余界。一个相关的性质涉及到最佳代码的存在：对于“良好的”成本函数，最佳代码总是存在于具有有限广义熵的（可能是无限字母表）源。解决这些问题的有限实例是通过推广的算法，找到长度有限的二进制代码的一个新的算法，找到最佳的二进制代码的任何quasiarithmetic平均凸成本函数。该算法可以使用二次时间和线性空间来执行，并且可以扩展到其他罚函数，其中一些罚函数可以以类似的空间和时间复杂度来求解，而其他罚函数可以以稍微更大的复杂度来求解。这降低了队列中涉及最小延迟的问题的计算复杂性，允许优化先前考虑的问题的组合，并且极大地扩展了在二次时间和线性空间中可解的问题的空间。该算法可以被扩展用于诸如打破可能不同的最佳代码之间的联系的目的，如底部合并霍夫曼编码。
2006-05-22 cs.DS cs.IT math.IT
Twenty Questions Games Always End With Yes
霍夫曼编码通常被认为是二十个问题的最佳解决方案。然而，需要注意的是，二十个问题游戏总是以“是”的回答结束，而霍夫曼码字不需要遵守这个约束。我们解决了这个问题，并证明了问题的平均数仍然位于H（X）和H（X）+1之间。
2010-02-26 cs.DM cs.IT math.IT
A Note on Slepian-Wolf Bounds for Several Node Grouping Configurations
允许码率的Slepian-Wolf界是分布式信源编码的最基本的方面。因此，它是必要的，以提供一个框架来模拟更实际的情况下，相对于节点的安排，以使Slepian-Wolf编码更适合于多节点无线传感器网络。本文提供了两个实际的场景，以实现这一目标。第一种方法是根据相关性对节点进行分组，而第二种方法涉及使用马尔可夫相关性简化结构。结果发现，虽然这些情况下的界限比原来的Slepian-Wolf界限更严格，简化了整体模型和界限。
2021-04-20 cs.IT math.IT
Applying Compression to a Game's Network Protocol
本报告介绍了将不同的压缩算法应用于在线游戏的网络协议的结果。比较的算法实现是zlib，liblzma和我自己的基于LZ77和自适应霍夫曼编码的变体的实现。比较数据是从游戏TomeNET收集的。结果表明，自适应编码是特别有用的压缩大量的非常小的数据包。
2012-05-28 cs.IT math.IT
Huffman-coded Sphere Shaping and Distribution Matching Algorithms via Lookup Tables
在本文中，我们研究的概率幅度整形（PAS）框架，以及恒定成分分布匹配（CCDM）的算法的幅度整形方案。霍夫曼编码的球体成形（HCSS）进行了详细讨论，它内部使用霍夫曼编码来确定要使用的组成，并依赖于传统的CCDM算法的映射和解映射。数值模拟表明，HCSS关闭分布匹配方案和球形成形技术，如枚举球形成形（ESS）之间的性能差距。HCSS是基于一个架构，这是从基于网格的ESS设置不同。它允许定制所使用的HCSS组成的传输通道，并考虑到复杂性的约束。我们进一步详细讨论了多集排序（MR）和子集排序（SR）的替代算术编码（AC）CCDM。MR相对于AC的优点在于它需要较少的顺序映射操作。SR仅对二进制字母表进行操作，当需要非二进制到二进制转换时，这可能会引入一些额外的速率损失。然而，SR所需的二项式系数可以预先计算并存储在查找表（LUT）中。我们进行了速率损失和解码性能的分析，所提出的技术，并比较它们与其他突出的幅度整形方案。对于中等到长的块长度，MR-HCSS和SR-HCSS被证明具有与ESS类似的性能。SR-HCSS和均匀64 QAM在加性高斯白噪声仿真中进行了比较，并且分别在1 kbit和100 kbit LUT大小下证明了0.5 dB和1 dB的整形增益。
2020-06-12 cs.IT eess.SP math.IT
A General Framework for Codes Involving Redundancy Minimization
一个框架，两个标量参数的各种问题，找到一个前缀码最小化的编码惩罚函数。该框架包括以前提出的霍夫曼，坎贝尔，纳特，Drmota和Szpankowski的问题，这些问题之间的关系阐明。特别是，纳特的范围内的问题可以被看作是桥接最小平均冗余问题的霍夫曼与最小最大逐点冗余问题的Drmota和Szpankowski。使用这个框架，两个线性时间霍夫曼算法设计的最小最大逐点冗余问题，唯一一个在框架中以前没有解决的霍夫曼算法。这两种算法都提供了解决这个问题的共同点和Nath的问题的一个子范围，第二种算法的区别在于它能够找到最小方差的解决方案之间的所有解决方案共同的最小最大逐点冗余和Nath问题。简单的冗余界限。
2005-11-01 cs.DS cs.IT math.IT
Quad Length Codes for Lossless Compression of e4m3
Google LLC（谷歌公司）
本文提出四长度编码，结合压缩效率与解码速度，适用于e4m3数据类型的无损压缩。
2026-02-25 cs.IT cs.LG math.IT
Goal-Oriented Source Coding using LDPC Codes for Compressed-Domain Image Classification
IMT Atlantique（大西洋电信学院）；CNRS（法国国家科学研究中心）；Lab-STICC（信息科学与信号处理实验室）
本文提出将 LDPC 码作为压缩图像的熵编码方案，使 GRU 可直接在码流上分类；实验表明其优于 Huffman 和 Arithmetic 编码且模型更小。
2025-03-15 cs.AI cs.CV cs.IT
Optimal Merging Algorithms for Lossless Codes with Generalized Criteria
本文提出了无损前缀码优化支付标准组成的最大码字长度和平均码字长度的凸组合。最佳码字长度是基于一种新的编码算法，该算法根据合并规则将初始源概率向量转换为新的概率向量。该编码算法等价于将源字母表划分为不相交的集合，在该集合上，新的变换后的概率向量被定义为初始源概率向量和标量参数的函数。所考虑的支付标准包括最大和平均码字长度之间的权衡;它与由平均码字长度和平均码字长度的指数函数的凸组合组成的支付标准有关，并且与受到有限长度约束的平均码字长度支付标准有关。第一个相关的支付的一个特殊情况是连接到编码问题，涉及源概率的不确定性和码字溢出概率，而第二个相关的支付恭维有限长度的霍夫曼编码算法。
2012-08-06 cs.IT math.IT
Overcoming the compression limit of the individualsequence (zero order empirical entropy) using the Set Shaping Theory
本文通过公开实验质疑单序列零阶经验熵编码极限，利用集合整形理论将序列变换后霍夫曼编码，发现平均编码长度低于 NH0(S)，挑战传统信息论结论。
2024-01-01 cs.IT math.IT
Learning on JPEG-LDPC Compressed Images: Classifying with Syndromes
IMT Atlantique（大西洋电信学院）；CNRS（法国国家科学研究中心）
针对面向目标通信中传统熵编码破坏数据结构导致无法直接学习的问题，提出用LDPC码实现熵编码，结合GRU训练分类模型，结果显示其分类性能更优且模型规模更小。
2024-03-15 cs.AI cs.CV cs.IT
Bounds for Learning Lossless Source Coding
University of Hawaii, Manoa（夏威夷大学马诺阿分校）
本文提出了一个基本问题：需要多少训练才能击败通用源代码编码器？传统上，有两种类型的源代码编码器：固定的，最佳的编码器，如霍夫曼编码器;和通用的源代码编码器，如Lempel-Ziv本文认为第三种类型的源代码编码器：学习编码器。这些编码器在特定类型的数据上进行训练，然后用于编码该类型的新数据。这是一种编码器，最近在（有损）图像和视频编码中变得非常流行。本文考虑两个标准的学习编码器的性能：训练数据的平均性能，并保证在所有的训练，除了一些错误概率$P_e$的性能。在这两种情况下，编码器的冗余度进行评估。本文考虑了IID二元情形和二元马尔可夫链。在这两种情况下，它表明，所需的训练数据量是非常温和的：编码序列的长度$l$的训练数据量需要击败通用源编码器是$m=K\frac{l}{\log l}$，其中常数在前面取决于所考虑的情况。
2020-09-18 cs.IT cs.LG math.IT
Asymmetric Encoding-Decoding Schemes for Lossless Data Compression
本文提出了一种不对称编码解码方案，用于在特定条件下实现更高效的无损数据压缩。
2026-01-16 cs.IT math.IT
Lightweight compression with encryption based on Asymmetric Numeral Systems
数据压缩与有效加密相结合是数据存储和传输的共同要求。这些操作的低成本通常是高优先级，以便提高传输速度并减少功率使用。这一要求对于资源有限的电池供电设备至关重要，例如自主远程传感器或植入物。众所周知的和流行的加密技术往往过于昂贵。随着机器对机器通信和物联网成为现实，这个问题正在增加。因此，在轻量级密码学中寻找安全性、成本和性能之间的权衡的需求越来越大。本文讨论了非对称数字系统--一种创新的熵编码方法，可用于加密压缩。它提供了与算术编码相当的压缩比，速度与霍夫曼编码相似，因此，这种编码开始在新的压缩器中取代它们。此外，通过扰动其编码表，非对称数字系统使得几乎不需要额外的成本就可以同时加密编码的消息。文章介绍了这种方法并分析了它的安全级别。基本的应用是减少在ANS压缩数据上使用的某些密码的轮数，或者如果达到令人满意的保护级别则完全去除附加的加密层。
2016-12-14 cs.CR cs.IT math.IT
Efficient On-line Schemes for Encoding Individual Sequences with Side Information at the Decoder
我们提出了自适应在线计划的条件下的Wyner-Ziv（WZ）问题的个别序列的有损编码。在本文的第一部分中，提出了一组零延迟的固定速率标量源代码。我们提出了一个随机的在线编码方案，它实现了渐近（和高概率），最好的源代码在集合中的性能，均匀地在所有的源序列。该方案使用相同的速率并且具有零延迟。然后，我们提出了一个有效的算法实现我们的在线编码方案的情况下，一个相对较小的编码器。我们还提出了一个有效的算法的情况下，一个更大的编码器的结构，使用的方法的加权图和权重推算法（WPA）。在本文的第二部分中，我们将我们的结果扩展到可变速率编码的情况。一组可变速率标量源代码。我们推广的随机在线编码方案，我们的情况下。这一次，性能由拉格朗日成本（LC）来测量，其被定义为失真和编码序列的长度的加权和。我们提出了一个有效的算法，实现我们的在线可变速率编码方案的情况下，一个相对较小的编码器。然后，我们考虑无损可变速率编码的特殊情况。提出了一种利用哈夫曼编码的在线方案。我们表明，该计划可以有效地实现使用相同的图形方法从第一部分。结合前几节的结果，我们建立了一个结构化可变速率编码器集的广义有效算法。所有算法的复杂度都与序列长度成线性关系。
2009-08-11 cs.IT math.IT
Investigations on Algorithm Selection for Interval-Based Coding Methods
本文研究基于区间的熵编码方法中的算法选择问题，通过伪代码分析符号搜索与区间边界更新策略，证明二进制索引方法在自适应压缩中整体更优，并提出一种更灵活且复杂度部分更低的变体。
2024-09-25 cs.DS cs.IT math.IT
Designing dedicated data compression for physics experiments within FPGA already used for data acquisition
物理实验每天产生大量的原始数据，以PB计。因此，主要通过使用一些过滤器来减少这个量是很大的努力。这种情况可以通过另外应用一些数据压缩技术来改善：去除冗余和对实际信息进行最佳编码。优选地，滤波和数据压缩两者都应当适合于已经用于数据采集的FPGA，从而减少对数据存储和联网架构两者的要求。我们将简要地解释和讨论一些基本技术，更好地集中应用于设计一个专用的数据压缩系统的基础上，从一个跟踪探测器的原型：10000事件为48通道。这里我们将关注时间数据，在忽略报头并应用数据过滤之后，使用当前编码平均需要1170位/事件。编码相对时间（差异）和按通道分组数据，将这个数字减少到798位/通道，仍然使用固定长度编码：用于给定值的固定位数。使用可变长度霍夫曼编码来编码用于信道的数字脉冲的数量和值的最高有效位（简单的合并）进一步将该数量减少到552位/事件。使用自适应分箱：更密集的频繁值，和一个准确的熵编码器，我们得到进一步下降到455位/事件-这个选项可以很容易地适应FPGA的未使用的资源，目前用于数据采集。最后，对于不同的信道使用单独的概率分布，这可以由软件压缩器完成，导致437比特/事件，这比原始的1170比特/事件小2.67倍。
2015-11-03 cs.IT math.IT
Interactive Byzantine-Resilient Gradient Coding for General Data Assignments
本研究针对分布式梯度下降中的拜占庭错误问题，提出交互式抗拜占庭梯度编码方案，仅需s+1复制因子即可在s个恶意节点下恢复全梯度，最多s轮交互且通信成本与样本数对数相关。
2024-01-30 cs.DC cs.IT math.IT
Optimized Arithmetic Coding for Efficient Data Compression in the Resource-Constrained Internet of Things(IoT)
本文提出面向资源受限IoT环境的优化Arithmetic Coding算法，结合迭代优化、PCA降维与基数缩减技术，在保持数据完整性的同时显著降低计算开销，实现814:1压缩比与101毫秒单图压缩速度。
2025-08-12 cs.IT math.IT
Coding sets with asymmetric information
我们研究了以下单向非对称传输问题，也是基于模型的压缩感知的一个变体：资源有限的编码器必须报告一个小集合$S$从宇宙的$N$项目到一个更强大的解码器（服务器）。区别特征是信息不对称：子集$S$由i.i.d.组成。样本来自先验分布$μ$，并且$μ$仅为解码器所知。编码器的目标是对$S$进行编码，同时实现$|S| \cdot H(μ)$的信息理论界，即，香农熵界我们首先表明，任何这样的压缩方案必须是{ \em随机}，如果它从先前的$μ$非平凡的收益。这与对称情况（当编码器和解码器都知道$μ$时）形成对比，在对称情况下，霍夫曼码提供接近最优的确定性解决方案。另一方面，一个相当简单的论点表明，当随机线性码$|S|=k$达到约$k\cdot H(μ)$位的接近最佳的通信速率时。可惜的是，最终方案的解码时间太长：大约${N\choose k} \approx (N/k)^k$。我们的主要结果是一个计算效率和线性编码方案，它实现了$O(\lg\lg N)$竞争力的通信比相比，最佳的基准，并运行在$\text{poly}(N,k)$的时间。我们的“多级”编码方案使用里德-所罗门码的散列和综合征解码的组合，并且依赖于将（未知）先验$μ$视为均匀（“平坦”）分布的相当小的凸组合。
2018-07-27 cs.DS cs.IT cs.NI
An Enhanced Static Data Compression Scheme Of Bengali Short Message
本文提出了一种适用于小型设备的孟加拉语短信压缩方法。这项研究技术的主要目标是建立一个低复杂度的压缩方案，适用于具有小内存和相对较低的处理速度的小型设备。其基本目标不是在没有空间和时间限制的情况下将任何大小的文本压缩到其最大水平，而不是主要目标是将短消息压缩到需要最小空间、消耗更少时间和处理器要求更低的最佳水平。我们已经实现了字符掩码，字典匹配，数据采掘的关联规则和基于音节的压缩分字算法在分层步骤，以实现低复杂度的任何移动设备的文本消息的无损压缩。在扩展统计模型的基础上进行了图的选择方案，并通过相同的上下文进行了静态霍夫曼编码。
2009-09-08 cs.IT math.IT
Enumerative Data Compression with Non-Uniquely Decodable Codes
非唯一可解码码可以被定义为在没有附加消歧信息的情况下不能被唯一解码的码。这些主要是非无前缀码的类别，其中码字可以是其他码字的前缀，因此，码字边界信息对于正确解码是必不可少的。虽然与无前缀码相比，码字比特流消耗的空间明显更少，但附加的消歧信息使得难以完全捕捉无前缀码的性能。以前的研究认为，压缩与非前缀自由的代码集成排名/选择字典或小波树标记的码字边界。在这项研究中，我们专注于另一个维度与块-明智的枚举计划，提高了以前的研究的压缩比显着。在已知语料库上进行的实验表明，该方案成功地表示其熵内的源，甚至在某些情况下比霍夫曼和算术编码更好。由于缺乏唯一可解码性，非唯一可解码代码还提供了固有的安全特征。我们调查这个维度作为一个机会，提供压缩数据的安全性没有（或较少）加密，并讨论各种可能的实际优势，支持这样的代码。
2019-11-13 cs.DM cs.DS cs.IR
