Saving fractional bits: A practical entropy efficient code for fair die rolls
我们给出了一个算法的实现,该算法使用公平的硬币翻转来模拟公平的$n$侧模具辊。寄存器扮演熵池的角色,并保存在每个骰子滚动期间作为副产品产生的熵,并且通常被丢弃。存储在该寄存器中的熵在下一次滚动期间完全重复使用。因此,我们可以实现几乎可以忽略不计的熵损失每卷。该算法允许在每轮中改变骰子的边数。我们证明了熵损失是单调递减的熵池大小(寄存器长度)。
2014-12-23 cs.IT math.IT
Interleaved entropy coders
由Jarek Duda开发的ANS系列算术编码器具有编码器和解码器完全对称的独特属性,在这个意义上,解码器读取比特时将处于与编码器写入这些比特时完全相同的状态-所有信息的“缓冲”都是编码器状态的一部分,并且在编码器和解码器之间是相同的。因此,来自多个ABS/ANS编码器的输出可以被交织到相同的比特流中,而无需任何附加的元数据。这允许在支持超标量执行或SIMD指令的CPU以及GPU实现上进行非常高效的编码和解码。我们还展示了如何交织没有额外的元数据可以实现任何熵编码器,在一些编码器的复杂性增加。
2014-02-14 cs.IT math.IT
Dualities Between Entropy Functions and Network Codes
本文给出了熵函数与网络码之间的一种新的对偶关系。给定一个定义在$N$随机变量的所有真子集上的函数$g\geq 0$,我们给出了一个网络多播问题可解的构造当且仅当$g$是熵的.底层网络拓扑是固定的,组播问题仅通过边缘容量和源速率依赖于$g$。放松$g$的定义域是随机变量子集的要求,我们得到了一个类似的对偶之间的多拟阵和线性规划界。这些对偶结果提供了一个替代证明的线性(和阿贝尔)网络代码的不足,并展示了实用的非香农不等式收紧网络编码容量区域的外部边界。
2007-08-31 cs.IT math.IT
Fountain Codes and Invertible Matrices
本文讨论喷泉码,特别是其编码矩阵,这是要求可逆的。证明了编码矩阵诱导置换的结果。而且,结果是编码矩阵形成具有乘法运算的组。编码是一种变换,其减少初始高熵输入向量的熵。构造了一种特殊的编码矩阵,与理想孤子分布所构造的矩阵相比,这种编码矩阵的熵缩减效果更好。实验结果与熵减少。
2009-03-26 cs.IT math.IT
Singular Relative Entropy Coding with Bits-Back Rejection Sampling
Imperial College London(帝国理工学院);Queen’s University(女王大学)
本文提出位回拒绝采样器(BBRS),结合位回编码与贪婪拒绝采样,实现高效相对熵编码,具有更简单的分析和更好的常数因子。
2026-04-07 cs.IT math.IT
Entropy/Length Profile Bounds for the Conversion of (Non)linear Codes in the Merge Regime
School of Mathematics, Southwest Jiaotong University(西南交通大学数学学院);Information Coding and Transmission Key Lab of Sichuan Province, CSNMT Int. Coop. Res. Centre (MoST), Southwest Jiaotong University(四川省信息编码与传输重点实验室,西南交通大学中国-瑞典多媒体通信技术联合国际科技合作基地(科技部))
针对合并机制下的非线性码转换,本文提出信息论框架,利用熵/长度轮廓推导任意$(n,M)_q$码的未变符号数上界与读取符号数下界,所得界对线性码退化为广义汉明重量界,且构造实例验证了非线性码下的紧性。
2026-10-14 cs.IT math.IT
Rényi divergence-based uniformity guarantees for $k$-universal hash functions
University of Maryland, College Park(马里兰大学帕克分校);Georgia Institute of Technology(佐治亚理工学院)
本文基于Rényi散度,研究了k-通用哈希函数的均匀性保证,证明了通过α-Rényi散度度量的随机性转换和提取方法。
2025-10-07 cs.CR cs.IT math.IT
The Bethe Free Energy Allows to Compute the Conditional Entropy of Graphical Code Instances. A Proof from the Polymer Expansion
本文的主要目的是探讨图形纠错码的Bethe自由能(或熵)与Shannon条件熵之间的精确关系。主要结果表明,Bethe自由能与低密度奇偶校验码用于在一个二进制对称信道中的大噪声制度,是,具有很高的概率,渐近准确的块长度的增长。为了达到这一结果,我们开发了新的技术,而一般的图形模型的基础上的循环和作为起点和聚合物膨胀从统计力学。真正的自由能计算作为一个系列的扩展包含贝特自由能作为其零阶项加上一系列的修正。很容易看出,这种展开式的收敛准则对于一般的高温模型是满足的。我们将这些一般结果应用于低密度生成矩阵和奇偶校验码的集成。虽然生成矩阵码的应用遵循标准的“高温”方法,奇偶校验码的情况下,需要非平凡的新想法,因为硬约束对应于零温度制度。然而,人们可以将聚合物膨胀与膨胀和计数参数结合起来,以表明真实自由能和贝特自由能之间的差异在大块中以高概率消失。
2015-06-11 cs.IT math.IT
Informational Divergence and Entropy Rate on Rooted Trees with Probabilities
带概率的有根树被用来分析变长码的性质。一个界限上的差异的熵率的代码和一个无记忆源。该界限是根据标准化的信息分歧。该界用于推导用于精确随机数生成、分辨率编码和分布匹配的转换。
2013-10-10 cs.IT math.IT
Entropy vectors and network codes
我们考虑一个网络多播的例子,涉及的多播问题的可解性与熵函数的存在。因此,我们提供了一种替代方法来证明线性(和阿贝尔)网络代码的不足,并证明了非香农不等式的效用,收紧网络编码容量区域的外部边界。
2007-02-10 cs.IT cs.NI math.IT
Entropy coding with Variable Length Re-writing Systems
本文介绍了一套新的分组源代码,非常适合于数据压缩。这些代码由a.l->b形式的产生式规则集定义,其中A中的a表示来自源字母表A的值,并且l、b是小比特序列。这些代码自然包含其他可变长度代码(VLC),例如霍夫曼代码。结果表明,这些代码可能有一个类似的,甚至更短的平均描述长度比霍夫曼码相同的编码和解码复杂度。描述了允许在位域中保持字典顺序的第一代码设计方法。相应的代码具有与构造它们的霍夫曼代码相同的平均描述长度(mdl)。因此,从压缩的角度来看,它们的性能优于被设计为在位域中提供字典式属性的Hu-Tucker码。第二种构造方法允许获得代码,使得边际比特概率随着序列长度的增加而收敛到0.5,并且即使编码器不知道概率分布函数也可以实现这一点。
2005-08-11 cs.IT math.IT
Entropy Distance
受随机线性码方法的启发,有限域上向量空间中的一个新距离被定义为汉明球的“表面积”的对数,其半径是对应的汉明距离。由于它与熵函数有着密切的联系,所以被称为熵距离。证明了熵距离对于非二元域是一个度量,对于二元域是一个伪度量。线性码的熵距离被定义为码的不同码字之间的最小熵距离。类比的吉尔伯特界,汉明界,和辛格尔顿界的最大尺寸的线性代码的长度和熵距离的代码。此外,作为与无损联合信源-信道编码相关的一个重要性质,定义了线性编码器的熵距离。在给定输入输出向量空间维数的情况下,得到了线性编码器的最大熵距离的严格上界和下界。
2013-04-29 cs.IT math.CO math.IT
A weight-distribution bound for entropy extractors using linear binary codes
我们考虑了基于二进制线性码的处理对随机数生成器的偏差减小的限制。我们引入了一个新的边界上的总变化距离的处理输出的基础上所选择的二进制矩阵生成的代码的重量分布。从这个结果开始,我们展示了线性二进制提取器的输出的熵率的下界。
2014-05-12 cs.IT math.IT math.PR
The Entropy Characterization of Quantum MDS Codes
本文利用联合量子态及其子系统的纯态、最大混合态与熵条件,给出了 $[[n,k,d]]$ 量子MDS码的完整熵刻画。
2025-06-11 cs.IT math.IT quant-ph
Explicit Polyhedral Bounds on Network Coding Rate Regions via Entropy Function Region: Algorithms, Symmetry, and Computation
多个网络信息论问题的自动化解决方案,从确定所有信息不等式和线性码的限制等基本问题延伸到设计编码网络,分布式存储系统和缓存系统等应用问题,可以构成多面体投影。这些问题表现出多种类型的多面体对称性。它示出了如何利用这些对称性,以减少解决这些问题的复杂性,通过多面体投影。
2017-07-06 cs.IT math.IT
A Quasi-Uniform Approach to Characterizing the Boundary of the Almost Entropic Region
拟均匀随机向量的熵向量的凸闭包与熵域的闭包相同。因此,拟均匀随机向量构成了表征熵区域的一类重要的随机向量。此外,准一致码和准一致随机向量之间的一一对应关系使得准一致随机向量对于设计通信系统的有效码至关重要。在本文中,我们提出了一种新的方法,利用准均匀随机向量的特征几乎熵区域的边界。特别是,我们使用的准一致随机向量的概念,以建立松散的已知内界的熵向量的边界上的几乎熵区域的三个随机变量。对于通信模型,如网络编码,我们的方法可以应用于设计网络代码从准均匀熵向量。
2022-06-05 cs.IT math.IT
Concentration to Zero Bit-Error Probability for Regular LDPC Codes on the Binary Symmetric Channel: Proof by Loop Calculus
在本文中,我们考虑在二进制对称信道上的规则低密度奇偶校验码的解码制度。我们证明了一定的噪声阈值的比特采样解码器的比特错误概率收敛于平均为零的代码集成和信道实现。为了达到这个结果,我们表明,采样解码器的比特错误概率等于贝特自由熵的导数。我们开发的方法是新的,是基于凸性的自由熵和循环演算。凸性是交换极限和导数的必要条件,循环级数使我们能够表达误码率和Bethe自由熵之间的差异。我们使用组合技术和一阶矩方法控制循环系列。我们强调,我们的方法是通用的,我们相信,它可以推广到LDPC码一般度分布和非对称信道。
2015-09-18 cs.IT math.IT
Sharp Bounds for Optimal Decoding of Low Density Parity Check Codes
考虑在具有低密度奇偶检验(LDPC)码和最大后验(MAP)解码的二进制输入无记忆输出对称信道上的通信。自旋玻璃理论的副本方法允许推测的分析公式的平均输入输出条件熵每比特在无限块长度限制。Montanari证明了这个熵的下界,在LDPC系综与凸校验度多项式的情况下,它匹配的副本公式。在这里,我们将此下限扩展到任何不规则LDPC系综。我们的工作的新特点是分析的二阶导数的条件输入输出熵相对于噪声。在该二阶导数与码位的相关性或互信息之间产生密切关系。这使我们能够扩展的插值方法的领域,特别是我们展示了如何通道对称性允许控制重叠参数的波动。
2008-07-19 cs.IT math.IT
Data Compression with Stochastic Codes
Imperial College London(帝国理工学院)
本文综述相对熵编码,一种构建随机码以替代有损压缩中量化和熵编码的方法,强调计算与实践方面,并展示其简洁性与应用。
2026-06-08 cs.IT math.IT
On empirical cumulant generating functions of code lengths for individual sequences
从码长的最佳可实现经验累积量生成函数(CGF)的角度考虑使用有限状态(FS)机对单个序列进行无损压缩的问题,即,取幂码长的经验平均值的归一化对数。由于概率CGF在源的雷尼熵方面被最小化,因此本研究的动机之一是导出雷尼熵的个体序列模拟,以同样的方式,FS压缩性是香农熵的个体序列对应物。我们认为CGF的代码长度从固定到可变(F-V)长度编码的角度和可变到可变(V-V)长度编码的角度,其中后者原来产生更好的结果,符合FS压缩性。我们还扩展了我们的结果压缩边信息,可在编码器和解码器。在这种情况下,V-V版本不再与FS压缩性一致,而是导致不同的复杂性度量。
2016-05-04 cs.IT math.IT
Interference Channels with Strong Secrecy
已知给定来自相同嵌套格码本的两个独立均匀分布的格点的实和,窃听者可以获得关于格点之一的值的每个信道至多1比特的信息。在这项工作中,我们研究了这1位信息对三种常用信息理论测量中表达的含糊度的影响,即,Shannon熵Renyi熵和最小熵然后,我们展示了它的应用程序中的干扰信道的机密消息。在我们以前的工作中,我们表明,嵌套格码可以优于高斯码在此信道下实现的速率与弱保密概念测量。在这里,与Renyi熵和最小熵测度,我们证明了同样的安全自由度是可以实现的强保密性的概念。新的编码方案的一个主要优点是,强保密性是从一个单一的格点,而不是一个序列的格点。因此,机密消息和窃听者的观察之间的互信息随着信道使用的数量的减少比先前已知的用于嵌套格码的强保密编码方法快得多。
2009-10-14 cs.IT math.IT
Optimal list decoding from noisy entropy inequality
将Samorodnitsky关于布尔函数的噪声熵不等式应用于二进制码.它示出的二进制代码,实现二进制擦除信道上的容量承认最佳列表大小的列表解码在一些二进制对称信道(在一个制度,这个最佳列表大小是指数大)。
2022-12-02 cs.IT math.CO math.IT
Co-Adaptive Entropy Modeling and Rate-Distortion-Optimal Bit Allocation for Perceptual Audio Coding
Stanford University(斯坦福大学)
该研究提出一种无模型边信息的感知音频编码器,通过协同自适应熵建模与率失真最优比特分配,可降低感知失真,经MUSHRA测试验证了其性能排序。
2026-10-14 cs.IT eess.AS math.IT
Seed Recycling: Explicit Codes for Mixed Synchronization Errors Matching the Leading Term of the Gilbert--Varshamov Bound
VinUniversity(Vin大学);National University of Singapore(新加坡国立大学)
针对DNA存储等应用需求,提出基于多项式哈希与熵回收的二元码设计技术,实现冗余度优化的多次编辑纠正,并给出多项式时间的编解码算法。
2026-11-04 cs.DM cs.IT math.IT
Graph Entropy, Network Coding and Guessing games
我们介绍了有向图的(私有)熵(在新的网络编码意义上)以及许多相关概念。我们证明了一个有向图的熵与它的猜测数相同,并且可以用顶点数减去图的最短索引码的大小从下有界。我们表明,每个特定的多个单播网络的网络编码的可解性是完全确定的熵(以及由最短的索引代码)的有向图,通过识别每个源节点与每个相应的目标节点发生。香农信息不等式可以用来计算图的熵的上界以及计算最小索引码的大小。最近,一些新的所谓的非香农型信息不等式族已被发现。它已被证明,存在通信网络的能力严格小于所需的可解性,但这一事实不能使用香农的经典信息不等式。基于这一结果,我们表明,存在图的熵,不能只使用香农的经典信息不等式计算,并表明,更好的估计,可以通过使用某些非香农型信息不等式。
2007-11-27 cs.IT math.CO math.IT
Matroidal Entropy Functions: Constructions, Characterizations and Representations
该研究通过构造拟阵运算的变强度阵列,刻画了正则拟阵及部分与均匀拟阵U_{2,4}同p特征集的拟阵诱导的拟阵熵函数,为信息论相关问题的容量刻画与码构造提供支撑。
2024-01-30 cs.IT math.CO math.IT
An Entropy Sumset Inequality and Polynomially Fast Convergence to Shannon Capacity Over All Alphabets
我们证明了一个较低的估计熵的增加时,两个副本的条件随机变量$X | Y$,与$X$支持$\mathbb{Z}_q=\{0,1,\dots,q-1\}$总理$q$,总结模$q$。具体来说,给定一对随机变量$(X,Y)$的两个i.i.d副本$(X_1,Y_1)$和$(X_2,Y_2)$,$X$在$\mathbb{Z}_q$中取值,我们显示了某些$α(q) > 0$的\[ H(X_1 + X_2 \mid Y_1, Y_2) - H(X|Y) \ge α(q) \cdot H(X|Y) (1-H(X|Y)) \],其中$H(\cdot)$是归一化(通过因子$\log_2 q$)熵。我们的动机是对极化码的有限长度行为的有效分析,并且$q$是素数的假设是必要的。对于在没有有限子群和没有条件限制的无限群上支持的$X$,Tao(2010)证明了(非归一化)熵的绝对增加的和集不等式。我们使用我们的和集不等式来分析Arıkan的极化码的构造,并证明对于任何$q$ -ary源$X$,其中$q$是任何固定素数,以及任何$ε> 0$,极化码允许$N$ i.i.d.的{ \em有效}数据压缩。只要$N$在$1/ε$中是多项式大的,就将$X$的拷贝转换成$(H(X)+ε)N$ $q$元符号。我们可以通过将$q$分解为素数并在分解中为每个素数组合不同的极化码来获得具有类似复合字母保证的容量实现源代码。我们的结果…
2014-11-25 cs.CC cs.IT math.IT
Source coding with escort distributions and Renyi entropy bounds
我们讨论了护送分布和雷尼熵的信源编码的上下文中的利益。我们首先回顾坎贝尔的信源编码定理,该定理将广义长度度量与雷尼-察利斯熵联系起来。我们表明,相关的最佳代码可以得到使用护送分布的考虑。我们提出了一个新的家庭的措施长度涉及护送分布,我们表明,这些广义长度也有界以下的Rényi熵。此外,我们得到的标准香农码的长度是最佳的新的广义长度措施,无论熵指数。最后,我们表明,在这种情况下存在着标准和护送分布之间的相互作用。
2011-09-15 cond-mat.stat-mech cs.IT math-ph
Beyond the Bethe Free Energy of LDPC Codes via Polymer Expansions
循环序列提供了一种正式的方式来写下对图形模型的贝特熵(和/或自由能)的修正。我们提供的方法来严格控制这种扩展的低密度奇偶校验码使用在一个高噪声的二进制对称信道。我们证明,在大尺寸的渐近极限,具有很高的概率,贝特表达式给出了一个精确的公式的熵(每比特)的输入字的条件输出的通道。我们的方法也适用于更一般的模型。
2012-02-13 cond-mat.stat-mech cs.IT math-ph
Channel-wise Autoregressive Entropy Models for Learned Image Compression
Google Research(谷歌研究院)
在基于学习的图像压缩方法中,通过优化计算模型以最小化率失真目标来开发编解码器。目前,最有效的学习图像编解码器采用熵约束自动编码器的形式,其熵模型使用前向和后向自适应。前向自适应利用边信息,可以有效地集成到深度神经网络中。相比之下,后向自适应通常基于每个符号的因果上下文进行预测,这需要串行处理,这妨碍了GPU / TPU的有效利用。我们介绍了两个增强功能,通道调节和潜在残差预测,导致网络架构具有更好的率失真性能比现有的上下文自适应模型,同时最大限度地减少串行处理。根据经验,与上下文自适应基线模型相比,Kodak图像集和Tecnick图像集的平均速率节省分别为6.7%和11.4%。在低比特率下,改进最有效,我们的模型比基线节省高达18%,比BPG等手工设计的编解码器性能高出25%。
2020-07-17 cs.CV cs.IT cs.LG
Goal-Oriented Source Coding using LDPC Codes for Compressed-Domain Image Classification
IMT Atlantique(大西洋电信学院);CNRS(法国国家科学研究中心);Lab-STICC(信息科学与信号处理实验室)
本文提出将 LDPC 码作为压缩图像的熵编码方案,使 GRU 可直接在码流上分类;实验表明其优于 Huffman 和 Arithmetic 编码且模型更小。
2025-03-15 cs.AI cs.CV cs.IT