Saving fractional bits: A practical entropy efficient code for fair die rolls
我们给出了一个算法的实现,该算法使用公平的硬币翻转来模拟公平的$n$侧模具辊。寄存器扮演熵池的角色,并保存在每个骰子滚动期间作为副产品产生的熵,并且通常被丢弃。存储在该寄存器中的熵在下一次滚动期间完全重复使用。因此,我们可以实现几乎可以忽略不计的熵损失每卷。该算法允许在每轮中改变骰子的边数。我们证明了熵损失是单调递减的熵池大小(寄存器长度)。
2014-12-23 cs.IT math.IT
Fountain Codes and Invertible Matrices
本文讨论喷泉码,特别是其编码矩阵,这是要求可逆的。证明了编码矩阵诱导置换的结果。而且,结果是编码矩阵形成具有乘法运算的组。编码是一种变换,其减少初始高熵输入向量的熵。构造了一种特殊的编码矩阵,与理想孤子分布所构造的矩阵相比,这种编码矩阵的熵缩减效果更好。实验结果与熵减少。
2009-03-26 cs.IT math.IT
Singular Relative Entropy Coding with Bits-Back Rejection Sampling
Imperial College London(帝国理工学院);Queen’s University(女王大学)
本文提出位回拒绝采样器(BBRS),结合位回编码与贪婪拒绝采样,实现高效相对熵编码,具有更简单的分析和更好的常数因子。
2026-04-07 cs.IT math.IT
Entropy/Length Profile Bounds for the Conversion of (Non)linear Codes in the Merge Regime
School of Mathematics, Southwest Jiaotong University(西南交通大学数学学院);Information Coding and Transmission Key Lab of Sichuan Province, CSNMT Int. Coop. Res. Centre (MoST), Southwest Jiaotong University(四川省信息编码与传输重点实验室,西南交通大学中国-瑞典多媒体通信技术联合国际科技合作基地(科技部))
针对合并机制下的非线性码转换,本文提出信息论框架,利用熵/长度轮廓推导任意$(n,M)_q$码的未变符号数上界与读取符号数下界,所得界对线性码退化为广义汉明重量界,且构造实例验证了非线性码下的紧性。
2026-10-14 cs.IT math.IT
The Bethe Free Energy Allows to Compute the Conditional Entropy of Graphical Code Instances. A Proof from the Polymer Expansion
本文的主要目的是探讨图形纠错码的Bethe自由能(或熵)与Shannon条件熵之间的精确关系。主要结果表明,Bethe自由能与低密度奇偶校验码用于在一个二进制对称信道中的大噪声制度,是,具有很高的概率,渐近准确的块长度的增长。为了达到这一结果,我们开发了新的技术,而一般的图形模型的基础上的循环和作为起点和聚合物膨胀从统计力学。真正的自由能计算作为一个系列的扩展包含贝特自由能作为其零阶项加上一系列的修正。很容易看出,这种展开式的收敛准则对于一般的高温模型是满足的。我们将这些一般结果应用于低密度生成矩阵和奇偶校验码的集成。虽然生成矩阵码的应用遵循标准的“高温”方法,奇偶校验码的情况下,需要非平凡的新想法,因为硬约束对应于零温度制度。然而,人们可以将聚合物膨胀与膨胀和计数参数结合起来,以表明真实自由能和贝特自由能之间的差异在大块中以高概率消失。
2015-06-11 cs.IT math.IT
Entropy vectors and network codes
我们考虑一个网络多播的例子,涉及的多播问题的可解性与熵函数的存在。因此,我们提供了一种替代方法来证明线性(和阿贝尔)网络代码的不足,并证明了非香农不等式的效用,收紧网络编码容量区域的外部边界。
2007-02-10 cs.IT cs.NI math.IT
Informational Divergence and Entropy Rate on Rooted Trees with Probabilities
带概率的有根树被用来分析变长码的性质。一个界限上的差异的熵率的代码和一个无记忆源。该界限是根据标准化的信息分歧。该界用于推导用于精确随机数生成、分辨率编码和分布匹配的转换。
2013-10-10 cs.IT math.IT
Word-Valued Sources: an Ergodic Theorem, an AEP and the Conservation of Entropy
字值源$\mathbf{Y} = Y_1,Y_2,...$是通过用来自码本$\mathscr{C}$的码字顺序地编码随机过程$\mathbf{X} = X_1,X_2,...$的符号而形成的离散随机过程。这些过程经常出现在信息论中(特别是在信源编码算法的分析中),因此给出关于$\mathbf{X}$和$\mathscr{C}$的条件,使$\mathbf{Y}$满足遍历定理并具有渐近均分性质(AEP)是很有意义的。证明了:(1)若$\mathbf{X}$是渐近平均平稳的,则$\mathbf{Y}$满足逐点遍历定理并具有AEP;(2)若码本$\mathscr{C}$是无前缀的,则$\mathbf{Y}$的熵率等于$\mathbf{X}$的平均码字长度归一化的熵率.
2009-04-24 cs.IT math.IT
Codes for Tasks and Rényi Entropy Rate
任务是从有限的任务集合中随机抽取的,并使用固定数量的位来描述。必须执行共享其描述的所有任务。最小$ρ$ -th时刻的执行任务的数量上的上限和下限的推导。关键是一个类似的卡夫不等式分区的有限集。当任务序列是由一个源的一个给定的雷尼熵率的顺序$1/(1+ρ)$和$n$任务共同描述使用$nR$位,它表明,对于$R$大于雷尼熵率,$ρ$阶矩的执行任务的比例$n$可以驱动为1,因为$n$趋于无穷大,对于小于雷尼熵率的$R$,它趋于无穷大。这推广了同一作者最近的IID源的结果。还考虑了直接部分的不匹配版本,其中代码是根据错误的定律设计的。由不匹配引起的惩罚可以用发散度量来表示,Sundaresan在Massey-Arikan猜测问题中扮演了类似的角色。
2014-05-02 cs.IT math.IT
Entropy Distance
受随机线性码方法的启发,有限域上向量空间中的一个新距离被定义为汉明球的“表面积”的对数,其半径是对应的汉明距离。由于它与熵函数有着密切的联系,所以被称为熵距离。证明了熵距离对于非二元域是一个度量,对于二元域是一个伪度量。线性码的熵距离被定义为码的不同码字之间的最小熵距离。类比的吉尔伯特界,汉明界,和辛格尔顿界的最大尺寸的线性代码的长度和熵距离的代码。此外,作为与无损联合信源-信道编码相关的一个重要性质,定义了线性编码器的熵距离。在给定输入输出向量空间维数的情况下,得到了线性编码器的最大熵距离的严格上界和下界。
2013-04-29 cs.IT math.CO math.IT
Entropy coding with Variable Length Re-writing Systems
本文介绍了一套新的分组源代码,非常适合于数据压缩。这些代码由a.l->b形式的产生式规则集定义,其中A中的a表示来自源字母表A的值,并且l、b是小比特序列。这些代码自然包含其他可变长度代码(VLC),例如霍夫曼代码。结果表明,这些代码可能有一个类似的,甚至更短的平均描述长度比霍夫曼码相同的编码和解码复杂度。描述了允许在位域中保持字典顺序的第一代码设计方法。相应的代码具有与构造它们的霍夫曼代码相同的平均描述长度(mdl)。因此,从压缩的角度来看,它们的性能优于被设计为在位域中提供字典式属性的Hu-Tucker码。第二种构造方法允许获得代码,使得边际比特概率随着序列长度的增加而收敛到0.5,并且即使编码器不知道概率分布函数也可以实现这一点。
2005-08-11 cs.IT math.IT
A weight-distribution bound for entropy extractors using linear binary codes
我们考虑了基于二进制线性码的处理对随机数生成器的偏差减小的限制。我们引入了一个新的边界上的总变化距离的处理输出的基础上所选择的二进制矩阵生成的代码的重量分布。从这个结果开始,我们展示了线性二进制提取器的输出的熵率的下界。
2014-05-12 cs.IT math.IT math.PR
The Entropy Characterization of Quantum MDS Codes
本文利用联合量子态及其子系统的纯态、最大混合态与熵条件,给出了 $[[n,k,d]]$ 量子MDS码的完整熵刻画。
2025-06-11 cs.IT math.IT quant-ph
Mismatched codebooks and the role of entropy-coding in lossy data compression
介绍了一种基于随机编码的通用量化方案,并分析了其性能。该方案包括一个源独立的随机码本(通常_mismatched_to_source分布),其次是最佳熵编码是_matched_to_quantized码字分布。在码本维数较大的情况下,在给定的失真下,推导出了该方案所能达到的码率的单字母公式。由于熵编码的速率降低进行了量化,它表明,它可以是任意大的。在"几乎统一"码本的特殊情况下(例如,身份证高斯码本与大方差)和差分失真措施,一个新的连接之间的压缩实现本方案和“通用”熵编码抖动格量化器的性能。这种连接推广了抖动格量化器冗余的"半比特"界限。此外,它证明了一个强大的概念的普遍性,其中一个单一的“几乎均匀”的码本是接近最佳的任何源和任何差异失真的措施。
2005-11-02 cs.IT math.IT math.PR
Explicit Polyhedral Bounds on Network Coding Rate Regions via Entropy Function Region: Algorithms, Symmetry, and Computation
多个网络信息论问题的自动化解决方案,从确定所有信息不等式和线性码的限制等基本问题延伸到设计编码网络,分布式存储系统和缓存系统等应用问题,可以构成多面体投影。这些问题表现出多种类型的多面体对称性。它示出了如何利用这些对称性,以减少解决这些问题的复杂性,通过多面体投影。
2017-07-06 cs.IT math.IT
A Quasi-Uniform Approach to Characterizing the Boundary of the Almost Entropic Region
拟均匀随机向量的熵向量的凸闭包与熵域的闭包相同。因此,拟均匀随机向量构成了表征熵区域的一类重要的随机向量。此外,准一致码和准一致随机向量之间的一一对应关系使得准一致随机向量对于设计通信系统的有效码至关重要。在本文中,我们提出了一种新的方法,利用准均匀随机向量的特征几乎熵区域的边界。特别是,我们使用的准一致随机向量的概念,以建立松散的已知内界的熵向量的边界上的几乎熵区域的三个随机变量。对于通信模型,如网络编码,我们的方法可以应用于设计网络代码从准均匀熵向量。
2022-06-05 cs.IT math.IT
Concentration to Zero Bit-Error Probability for Regular LDPC Codes on the Binary Symmetric Channel: Proof by Loop Calculus
在本文中,我们考虑在二进制对称信道上的规则低密度奇偶校验码的解码制度。我们证明了一定的噪声阈值的比特采样解码器的比特错误概率收敛于平均为零的代码集成和信道实现。为了达到这个结果,我们表明,采样解码器的比特错误概率等于贝特自由熵的导数。我们开发的方法是新的,是基于凸性的自由熵和循环演算。凸性是交换极限和导数的必要条件,循环级数使我们能够表达误码率和Bethe自由熵之间的差异。我们使用组合技术和一阶矩方法控制循环系列。我们强调,我们的方法是通用的,我们相信,它可以推广到LDPC码一般度分布和非对称信道。
2015-09-18 cs.IT math.IT
Optimal list decoding from noisy entropy inequality
将Samorodnitsky关于布尔函数的噪声熵不等式应用于二进制码.它示出的二进制代码,实现二进制擦除信道上的容量承认最佳列表大小的列表解码在一些二进制对称信道(在一个制度,这个最佳列表大小是指数大)。
2022-12-02 cs.IT math.CO math.IT
Bitstream Organization for Parallel Entropy Coding on Neural Network-based Video Codecs
本文针对神经视频编解码器并行熵编码的比特流组织问题,提出压缩并行解码入口点、双向比特流打包和联合优化算术编码终止方法,显著降低并发解码的比特率开销。
2023-12-01 cs.IT eess.IV math.IT
Seed Recycling: Explicit Codes for Mixed Synchronization Errors Matching the Leading Term of the Gilbert--Varshamov Bound
VinUniversity(Vin大学);National University of Singapore(新加坡国立大学)
针对DNA存储等应用需求,提出基于多项式哈希与熵回收的二元码设计技术,实现冗余度优化的多次编辑纠正,并给出多项式时间的编解码算法。
2026-11-04 cs.DM cs.IT math.IT
Graph Entropy, Network Coding and Guessing games
我们介绍了有向图的(私有)熵(在新的网络编码意义上)以及许多相关概念。我们证明了一个有向图的熵与它的猜测数相同,并且可以用顶点数减去图的最短索引码的大小从下有界。我们表明,每个特定的多个单播网络的网络编码的可解性是完全确定的熵(以及由最短的索引代码)的有向图,通过识别每个源节点与每个相应的目标节点发生。香农信息不等式可以用来计算图的熵的上界以及计算最小索引码的大小。最近,一些新的所谓的非香农型信息不等式族已被发现。它已被证明,存在通信网络的能力严格小于所需的可解性,但这一事实不能使用香农的经典信息不等式。基于这一结果,我们表明,存在图的熵,不能只使用香农的经典信息不等式计算,并表明,更好的估计,可以通过使用某些非香农型信息不等式。
2007-11-27 cs.IT math.CO math.IT
Conditional Entropy Coding for Efficient Video Compression
Uber ATG(优步先进技术集团)
我们提出了一个非常简单和有效的视频压缩框架,只专注于建模帧之间的条件熵。与先前基于学习的方法不同,我们通过不在帧之间执行任何形式的显式变换来降低复杂性,并假设每个帧都使用独立的最先进的深度图像压缩器进行编码。我们首先展示了一个简单的架构,它对图像潜码之间的熵进行建模,与其他神经视频压缩作品和视频编解码器一样具有竞争力,同时更快,更容易实现。然后,我们提出了一种新的内部学习扩展在这个架构之上,带来了额外的10%的比特率节省而不牺牲解码速度。重要的是,我们表明,我们的方法在MS-SSIM中的H.265和其他深度学习基线中,在更高比特率的UVG视频上,以及在更低帧速率上的所有视频编解码器上,都优于H.265和其他深度学习基线,同时解码速度比使用自回归熵模型的深度模型快数千倍。
2020-08-20 cs.CV cs.IT eess.IV
Beyond the Bethe Free Energy of LDPC Codes via Polymer Expansions
循环序列提供了一种正式的方式来写下对图形模型的贝特熵(和/或自由能)的修正。我们提供的方法来严格控制这种扩展的低密度奇偶校验码使用在一个高噪声的二进制对称信道。我们证明,在大尺寸的渐近极限,具有很高的概率,贝特表达式给出了一个精确的公式的熵(每比特)的输入字的条件输出的通道。我们的方法也适用于更一般的模型。
2012-02-13 cond-mat.stat-mech cs.IT math-ph
Goal-Oriented Source Coding using LDPC Codes for Compressed-Domain Image Classification
IMT Atlantique(大西洋电信学院);CNRS(法国国家科学研究中心);Lab-STICC(信息科学与信号处理实验室)
本文提出将 LDPC 码作为压缩图像的熵编码方案,使 GRU 可直接在码流上分类;实验表明其优于 Huffman 和 Arithmetic 编码且模型更小。
2025-03-15 cs.AI cs.CV cs.IT