Entropy Coding of Unordered Data Structures
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Amsterdam（阿姆斯特丹大学）
本研究提出可对无序对象序列实现最优压缩的通用方法shuffle coding，可适配多重集、图等多种数据结构，发布的开源实现可在多类图数据集上取得当前最优压缩率。
2024-08-16 cs.DS cs.IT cs.LG
Symmetrical Multilevel Diversity Coding and Subset Entropy Inequalities
对称多级分集编码（SMDC）是分布式存储编码的经典模型。在这种情况下，一个简单的单独的编码策略，称为叠加编码被证明是最佳的实现最小和率（罗氏，杨，和Hau，1997年）和整个容许率区域（杨和张，1999年）的问题。证明使用精心构造的归纳论证，其中Han（1978）的经典子集熵不等式发挥了关键作用。本文共分两部分。在第一部分中，现有的经典SMDC的最优性证明进行了重新审视，重点放在它们的连接子集熵不等式。首先，一个新的滑动窗口子集熵不等式的介绍，然后使用建立的叠加编码的最优性，以实现最小的和率下较弱的源重建的要求。其次，Madiman和Tetali（2010）最近证明的子集熵不等式被用于对Yeung和Zhang关于实现整个可容许速率区域的叠加编码的最优性的证明发展新的结构理解。建立在经典SMDC和子集熵不等式之间的连接，在第一部分中，在第二部分中的叠加编码的最优性进一步扩展到的情况下，有一个额外的全访问编码器（SMDC-A）或一个额外的保密约束（S-SMDC）。
2012-12-01 cs.IT math.IT
Remote Source Coding under Gaussian Noise : Dueling Roles of Power and Entropy Power
研究了分布式远程信源编码（CEO）问题，其中潜在信源不一定是高斯信源，但具有有限差分熵，且观测噪声是高斯噪声。主要结果是一个新的下界的总和率失真函数下任意失真措施。当专门的均方误差的情况下，它示出的界限完全反映了相应的上限，除了上限有源功率（方差），而下限有源熵功率。自从香农的工作以来，展示这种令人愉快的功率和熵功率的二元性的界限对于直接和集中式信源编码已经是众所周知的。虽然边界一般举行，他们的价值是最显着的CEO问题中的代理人的数量的函数时解释。
2019-02-07 cs.IT math.IT
Fast Relative Entropy Coding with A* coding
相对熵编码（REC）算法使用建议分布$P$对来自目标分布$Q$的样本进行编码，使得期望的码长是$\mathcal{O}(D_{KL}[Q \,||\, P])$。REC可以与现有的学习压缩模型无缝集成，因为与熵编码不同，它不假设离散的$Q$或$P$，并且不需要量化。然而，一般的REC算法需要一个棘手的$Ω(e^{D_{KL}[Q \,||\, P]})$运行时。介绍了基于A* 采样的两种REC算法AS* 和AD* 编码。我们证明了，连续分布在$\mathbb{R}$，如果密度比是单峰，AS* 有$\mathcal{O}(D_{\infty}[Q \,||\, P])$预期的运行时间，其中$D_{\infty}[Q \,||\, P]$是雷尼$\infty$ -分歧。我们提供的实验证据表明，AD* 也有$\mathcal{O}(D_{\infty}[Q \,||\, P])$预期的运行时间。我们证明AS* 和AD* 达到预期的码长$\mathcal{O}(D_{KL}[Q \,||\, P])$。此外，我们介绍了DAD*，一个近似算法的基础上AD*，它保留了其有利的运行时间，并有类似的替代方法的偏见。针对VAE，我们提出了IsoKL VAE（IKVAE），它可以与DAD* 一起使用，以进一步提高压缩效率。我们评估了A* 编码与（IK）VAE在MNIST上，它可以losslightly…
2022-06-19 cs.IT math.IT
Gaussian Rate-Distortion-Perception Coding and Entropy-Constrained Scalar Quantization
本文研究高斯率-失真-感知函数的已知界，证明其非退化性，给出Wasserstein-2距离下的改进下界，并揭示这些界在弱感知约束下通常不紧。
2024-09-04 cs.IT cs.LG math.IT
On the Conditional Smooth Renyi Entropy and its Applications in Guessing and Source Coding
引入了一种不同于Renner和Wolf的条件光滑Renyi熵的新定义。结果表明，我们的定义的条件光滑Renyi熵是适当的，给出上下界的最佳猜测时刻的猜测问题中，猜测者被允许停止猜测，并宣布错误。进一步给出了最优猜测指数的一般公式。特别地，i.i.d.来源获得。另一个应用程序中的问题，信源编码与共同的边信息可在编码器和解码器也被证明。
2019-01-24 cs.IT math.IT
Data Compression with Relative Entropy Coding
University of Cambridge（剑桥大学）
本文研究了相对熵编码，探讨其在数据压缩中的应用，提出新的理论极限和算法，并展示其在图像、音频、视频和蛋白质数据压缩中的高效性能。
2026-03-24 cs.IT math.IT
Maximum Multiflow in Wireless Network Coding
在多跳无线网络中，无线干扰是最大多流（MMF）问题的关键，该问题研究的是多对信源和信宿之间的最大吞吐量。在本文中，我们观察到，网络编码可以帮助减少无线干扰的影响，并提出了一个框架，研究多跳无线网络与网络编码的MMF问题。首先，建立网络模型，描述网络编码修正后的冲突关系。然后，我们制定了一个线性规划问题来计算最大吞吐量，并显示其优越性，在网络中没有编码。最后，证明了无线网络编码中的MMF问题是NP难的，并提出了一种多项式近似算法。
2012-02-14 cs.IT math.IT
An Entropy Coding Based on Binary Encoding for Mixed-Radix Digits
针对数值数据的基数转换需求，提出一种混合基数数字的二进制编码及支持并行解码的rANS编码变体，在保持压缩率的同时显著提升了吞吐量。
2023-09-12 cs.IT math.IT
Optimized learned entropy coding parameters for practical neural-based image and video compression
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
当权重和激活被量化为低精度整数时，基于神经的图像和视频编解码器的功率效率显著提高。虽然存在用于减少量化效应的通用技术，但是当不考虑特定熵编码属性时可能发生大的损失。本文分析了参数量化对熵编码的影响，并提出了一种减小熵编码损失的方法。它示出，通过使用某种类型的编码参数学习，均匀量化成为实际上最佳的，也简化了代码存储器的要求最小化。文中给出了新表示的数学性质，并通过编码实验证明了其有效性，结果表明，在每个网络输出的精度低至4~bits时，可以获得良好的结果，而在8~bits时几乎没有损失。
2023-01-20 cs.IT cs.LG cs.MM
Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective
University of Tübingen（蒂宾根大学）
熵编码是数据压缩的主干。新颖的基于机器学习的压缩方法通常使用称为非对称数字系统（ANS）的新熵编码器[Duda等人，2015]，其提供非常接近最佳比特率并简化了[Townsend等人，2019]先进的压缩技术，如比特回编码。然而，具有机器学习背景的研究人员通常很难理解ANS的工作原理，这阻碍了他们充分利用其多功能性。本文旨在作为一种教育资源，使ANS更平易近人，从一个新的角度提出的潜在变量模型和所谓的位回技巧。我们将逐步引导读者在Python编程语言中实现ANS的完整实现，然后将其推广到更高级的用例。我们还提出并实证评估了各种熵编码器设计用于研究和生产使用的开源库。相关的教学视频和问题集可在网上获得。
2022-01-10 cs.IT cs.LG math.IT
Accelerating Relative Entropy Coding with Space Partitioning
University of Cambridge（剑桥大学）
针对通用相对熵编码（REC）编码时间过长、快速算法适用场景有限的问题，提出基于空间划分的REC方案，可处理更大KL散度的任务，在多个压缩任务中降低比特率，提升REC在神经压缩中的实用性。
2024-10-29 cs.IT cs.LG math.IT
Network Coding Capacity Regions via Entropy Functions
在本文中，我们使用熵函数来描述一般网络编码问题的速率容量元组集，这些元组可以是零解码错误，也可以是零解码错误。我们表明，当源是同位的，由Yeung，A First Course in信息论，第15.5节（2002年）得到的外边界是紧的，零误差可实现和消失误差可实现的速率容量元组的集合是相同的。我们还讨论了一组零错误和消失错误可实现的速率容量元组的网络编码问题的线性编码约束，路由约束（其中一些或所有节点只能执行路由）和保密约束。最后，我们表明，即使是显然简单的网络，最佳代码的设计可能是困难的。特别是，我们证明，对于增量组播问题和单源安全网络编码问题，表征的可实现集是非常困难的，线性网络代码可能不是最佳的。
2012-01-05 cs.IT math.IT
Entropy and Source Coding for Integer-Dimensional Singular Random Variables
熵和微分熵是信息论中的重要量。一个易于处理的扩展到奇异随机变量，既不是离散的，也不是连续的，迄今为止还没有。在这里，我们提出了这样一个扩展的实际相关类的整数维奇异随机变量。所提出的熵定义包含离散随机变量的熵和连续随机变量的微分熵作为特例。我们表明，它在Lipschitz函数下以自然的方式变换，并且在酉变换下是不变的。我们定义了整数维奇异随机变量的联合熵和条件熵，并证明了所提出的熵表达了有用的互信息表达式。作为我们的熵定义的第一个应用程序，我们提出了一个结果的最小预期码字长度的量化整数维奇异源和香农下界的整数维奇异源。
2017-01-03 cs.IT math.IT
Explicit Polyhedral Bounds on Network Coding Rate Regions via Entropy Function Region: Algorithms, Symmetry, and Computation
多个网络信息论问题的自动化解决方案，从确定所有信息不等式和线性码的限制等基本问题延伸到设计编码网络，分布式存储系统和缓存系统等应用问题，可以构成多面体投影。这些问题表现出多种类型的多面体对称性。它示出了如何利用这些对称性，以减少解决这些问题的复杂性，通过多面体投影。
2017-07-06 cs.IT math.IT
Entropy Concentration and the Empirical Coding Game
CWI（CWI（荷兰数学和计算机科学研究学会））；EURANDOM（EURANDOM（埃因霍温概率与统计研究所））
我们给出了最大熵/最小相对熵推理的特征，通过提供两个“强熵集中”定理。这些定理统一和推广了Jaynes的“集中现象”和Van Campenhout和Cover的“条件极限定理”。这些定理精确地描述了在给定约束条件下的先验分布Q和分布P在什么意义上最小化相对熵D（P|| Q）在满足约束的所有分布上，彼此“接近”。然后，我们应用我们的定理，建立熵浓度和最大熵推理由于托普索和其他博弈论表征之间的关系。
2008-09-05 cs.IT cs.LG math.IT
An Update-based Maximum Column Distance Coding Scheme for Index Coding
在本文中，我们提出了一个新的标量线性编码方案的索引编码问题称为更新为基础的最大列距离（UMCD）编码方案。每次传输的中心思想是对消息进行编码，使得具有最小尺寸的边信息的接收器之一从不满意的接收器中立即消除。本文的一个主要贡献是证明了其他满意的接收器可以识别后，每次传输，使用多项式时间算法解决著名的最大基数匹配问题的图论。这导致在不知道编码系数的情况下确定传输的总数。一旦找到这个数字和在每一轮中发送什么消息，我们就提出了一种从足够大的有限域中确定所有编码系数的方法。我们提供了具体的实例，其中所提出的UMCD编码方案与最有效的现有编码方案相比具有更好的广播性能，包括递归方案（Arbabjolfaei和Kim，2014）和互连循环覆盖（ICC）方案（Thapa等人，2017年）的报告。我们证明，建议UMCD编码方案执行至少以及MDS编码方案的广播速率。通过表征两类索引编码实例，我们表明递归和ICC方案和UMCD方案的广播速率之间的差距随着消息的数量线性增长。然后，我们将UMCD编码方案扩展到矢量版本，将其作为基本编码块来求解子实例。
2023-02-05 cs.IT math.IT
Mismatched codebooks and the role of entropy-coding in lossy data compression
介绍了一种基于随机编码的通用量化方案，并分析了其性能。该方案包括一个源独立的随机码本（通常_mismatched_to_source分布），其次是最佳熵编码是_matched_to_quantized码字分布。在码本维数较大的情况下，在给定的失真下，推导出了该方案所能达到的码率的单字母公式。由于熵编码的速率降低进行了量化，它表明，它可以是任意大的。在"几乎统一"码本的特殊情况下（例如，身份证高斯码本与大方差）和差分失真措施，一个新的连接之间的压缩实现本方案和“通用”熵编码抖动格量化器的性能。这种连接推广了抖动格量化器冗余的"半比特"界限。此外，它证明了一个强大的概念的普遍性，其中一个单一的“几乎均匀”的码本是接近最佳的任何源和任何差异失真的措施。
2005-11-02 cs.IT math.IT math.PR
Finite-Blocklength Bounds on the Maximum Coding Rate of Rician Fading Channels with Applications to Pilot-Assisted Transmission
我们提出了一个固定的数据包大小和一个固定的数据包错误概率的最大编码率可实现的莱斯块衰落信道上的非渐近界。我们的界限，这适用于没有先验信道状态信息的情况下，在接收机，允许一个量化的速率增益之间的权衡所造成的利用时间-频率分集和速率损失造成的快速信道变化和导频符号开销。
2017-05-23 cs.IT math.IT
Source coding with escort distributions and Renyi entropy bounds
我们讨论了护送分布和雷尼熵的信源编码的上下文中的利益。我们首先回顾坎贝尔的信源编码定理，该定理将广义长度度量与雷尼-察利斯熵联系起来。我们表明，相关的最佳代码可以得到使用护送分布的考虑。我们提出了一个新的家庭的措施长度涉及护送分布，我们表明，这些广义长度也有界以下的Rényi熵。此外，我们得到的标准香农码的长度是最佳的新的广义长度措施，无论熵指数。最后，我们表明，在这种情况下存在着标准和护送分布之间的相互作用。
2011-09-15 cond-mat.stat-mech cs.IT math-ph
Combinatorial Entropy Encoding
本文提出了一种新的熵编码技术用于无损数据压缩。通过其符号排列中的词典索引来表示消息字符串会导致与消息的香农熵匹配的压缩版本。商业数据压缩标准在压缩过程的某个阶段使用霍夫曼或算术编码。在所提出的方法中，像算术编码一样，整个字符串被映射到整数，但不是基于分数。与算术和霍夫曼编码不同，不需要源的先验熵模型。提出了一种基于多项式系数的简单直观的熵编码算法，该算法采用较低的比特数对较频繁的符号进行编码。通过实例验证了算法的正确性。
2017-03-23 cs.IT math.IT
Hash Property and Coding Theorems for Sparse Matrices and Maximum-Likelihood Coding
本文的目的是证明几个编码问题的可并行性，通过使用稀疏矩阵（最大列重量随块长度的递增）和最大似然（ML）编码。这些问题是Slepian-Wolf问题、Gel'fand-Pinsker问题、Wyner-Ziv问题和One helps-one问题（在解码器处具有部分边信息的信源编码）。为此，引入了函数系综的散列性质的概念，并证明了$q$ -ary稀疏矩阵的系综满足散列性质.基于这一性质，证明了采用稀疏矩阵和最大似然（ML）编码的码率可以达到最优码率。
2009-03-19 cs.IT math.IT
Why Shape Coding? Asymptotic Analysis of the Entropy Rate for Digital Images
本文主要研究图像压缩的极限理论。证明了对于一个图像源，存在一种形状编码方法，在一定条件下，当编解码器中的形状像素比为$O({1 \over {\log t}})$时，该方法可以达到熵率。基于这一新发现，提出了一种基于形状的图像编码框架，并证明了该框架对于平稳和遍历过程是渐近最优的。此外，在图像数据库MNIST中，还证明了编解码器中形状像素比满足$O({1 \over {\log t}})$的条件，说明了形状编码软压缩是图像无损压缩的一种近似最优方案。
2022-12-27 cs.IT eess.IV math.IT
Entropy and Distributed Source Coding of Connected Soft Random Geometric Graphs
University of Bristol（布里斯托大学）
本文针对连通阈值之上的软随机几何图（SRGG），通过证明其新极限定理与渐近等分性质，确定了有限编码器独立压缩场景下的Slepian-Wolf率区域，为其分布式压缩提供了方法。
2026-09-04 cs.IT math.IT math.PR
Co-Adaptive Entropy Modeling and Rate-Distortion-Optimal Bit Allocation for Perceptual Audio Coding
Stanford University（斯坦福大学）
该研究提出一种无模型边信息的感知音频编码器，通过协同自适应熵建模与率失真最优比特分配，可降低感知失真，经MUSHRA测试验证了其性能排序。
2026-10-14 cs.IT eess.AS math.IT
Graph Entropy, Network Coding and Guessing games
我们介绍了有向图的（私有）熵（在新的网络编码意义上）以及许多相关概念。我们证明了一个有向图的熵与它的猜测数相同，并且可以用顶点数减去图的最短索引码的大小从下有界。我们表明，每个特定的多个单播网络的网络编码的可解性是完全确定的熵（以及由最短的索引代码）的有向图，通过识别每个源节点与每个相应的目标节点发生。香农信息不等式可以用来计算图的熵的上界以及计算最小索引码的大小。最近，一些新的所谓的非香农型信息不等式族已被发现。它已被证明，存在通信网络的能力严格小于所需的可解性，但这一事实不能使用香农的经典信息不等式。基于这一结果，我们表明，存在图的熵，不能只使用香农的经典信息不等式计算，并表明，更好的估计，可以通过使用某些非香农型信息不等式。
2007-11-27 cs.IT math.CO math.IT
A Theory for Semantic Channel Coding With Many-to-one Source
本文针对多对一信源语义通信，提出可兼容既有定义的语义熵，并基于广义Fano不等式证明非零误码率下语义信道编码定理的可达性与逆定理。
2025-02-19 cs.IT math.IT
Bitstream Organization for Parallel Entropy Coding on Neural Network-based Video Codecs
本文针对神经视频编解码器并行熵编码的比特流组织问题，提出压缩并行解码入口点、双向比特流打包和联合优化算术编码终止方法，显著降低并发解码的比特率开销。
2023-12-01 cs.IT eess.IV math.IT
Rejection Sampling is Optimal for Relative Entropy Coding
Queen’s University（女王大学）；Imperial College London（帝国理工学院）
本文通过构造环投编码证明拒绝采样在相对熵编码中最优，展示了功能信息作为更紧的下界，并在一般情况下和奇异信道中给出最紧的界。
2026-07-27 cs.IT math.IT
Symmetry in Shannon's Noiseless Coding Theorem
陈述香农的无噪编码定理的各种作者，包括原来的，审查和澄清。关于这个定理的传统陈述往往不清楚它何时适用。介绍了一种新的符号，并阐明了应用领域。检查的界限定理导致一个新的对称重述。证明了推广的上界是一个可达上界，从而使定理具有对称性，并说明了信息熵与Gibbs和Boltmann的物理熵的关系。因此，香农熵的研究与物理学密切相关，并且存在信息的物理理论。本文是试图澄清这些关系的开始。
2010-10-29 cs.IT math.IT
Semantic Huffman Coding using Synonymous Mapping
针对语义通信场景下的信源压缩需求，本文提出基于同义映射与同义集的语义哈夫曼编码，理论上可逼近语义熵，实验显示其在语义无损条件下的压缩效率优于经典哈夫曼编码。
2024-01-26 cs.IT math.IT
Multi-answer Constrained Optimal Querying: Maximum Information Gain Coding
针对多答案约束查询问题，提出最大信息增益编码（MIGC），推广GBSC至D元情况，理论证明最优性，并在实际场景中优于GBSC和香农编码。
2024-05-27 cs.IT math.IT
Faster Relative Entropy Coding with Greedy Rejection Coding
本文提出贪婪拒绝编码 GRC 及其变体 GRCS、GRCD，将拒绝式 REC 推广到任意概率空间，并从理论和实验上证明其运行时间与码长优势。
2023-09-27 cs.IT math.IT
Minimum Redundancy Coding for Uncertain Sources
考虑相对于给定标称分布在固定最大相对熵内的源分布的集合。在这个相对熵球上的无损信源编码可以以多于一种方式来实现。以前考虑的一个问题是找到一个minimax平均长度的源代码。最小化参与者是码字长度-算术码为实数，前缀码为整数-而最大化参与者是不确定的源分布。另一个传统的最小化目标是这里考虑的第一个目标，最大（平均）冗余。这个问题减少到一个扩展的指数霍夫曼目标在文献中处理，但迄今没有直接的实际应用。除此之外，本文还研究了极大极小逐点冗余的相关问题以及Gawrychowski和Gagie所考虑的问题，对于一个足够小的相对熵球，该问题等价于极大极小冗余。可以考虑基于最佳实数（“理想”）码字长度的类香农编码和类霍夫曼最佳前缀编码。
2011-05-01 cs.IT math.IT
Foundations of information theory for coding theory
本文通过信息论基础构建，探讨了编码理论中噪声信道的理论极限及最大似然解码原理。
2025-12-04 cs.IT math.IT math.PR
Lossless Coding with Generalised Criteria
本文提出了一种最小化各种准则的前缀码，它们被构造为最大码字长度和平均码字长度或最大冗余度和平均冗余度的凸组合，包括码字长度的指数函数的平均值和平均冗余度的凸组合。这个框架包括作为一个特殊的情况下，以前在文献中研究的几个标准，而通用编码的关系进行了讨论。推导出的编码算法是参数化的，导致根据合并规则通过加权概率向量重新调整初始源概率。期望的合并水平在最大码字长度有界的应用中具有含义。
2011-02-10 cs.IT math.IT
Forward asymmetric numeral systems coding for natural language text compression
Taras Shevchenko National University of Kyiv（基辅塔拉斯·舍甫琴科国立大学）
本文提出结合非对称数字系统编码的建模与自适应编码方法，以实现高效的数据处理速度和压缩比，并解决自适应ANS的实现问题。
2026-05-20 cs.IT math.IT
Compressing Images by Encoding Their Latent Representations with Relative Entropy Coding
变分自编码器（VAE）在学习图像压缩中得到了广泛的应用。它们用于学习表达性潜在表示，下游压缩方法可以高效地操作。最近提出的“比特回退”方法可以间接编码的潜在表示的图像与代码长度接近的相对熵之间的潜在后验和先验。然而，由于底层算法的原因，这些方法只能用于无损压缩，并且当同时压缩多个图像时，它们只能达到它们的标称效率;它们对于压缩单个图像是低效的。作为替代方案，我们提出了一种新的方法，相对熵编码（REC），它可以直接编码的潜在表示与codelength接近的相对熵为单个图像，支持我们的经验结果上获得的Cifar 10，ImageNet 32和柯达数据集。此外，与以前的比特回退方法不同，REC可立即应用于有损压缩，在此情况下，它可与Kodak数据集上的最新技术竞争。
2021-04-19 cs.IT eess.IV math.IT
Quantized Indexing: Beyond Arithmetic Coding
量化索引是一种快速且节省空间的枚举（组合）编码形式，是渐近最优通用熵编码算法中最强的。目前枚举编码的进展类似于算术编码相对于其无限精度的前身Elias编码所取得的进展。算法精度、执行时间、表大小和编码延迟都在低于2*log（e）/2^g位/符号的冗余度下以因子O（n）减小（对于n个输入符号和g位QI精度）。由于其更严格的枚举，QI输出冗余低于算术编码的冗余（其可以被导出为QI的较低精度近似）。相对压缩增益在大n和高熵限制中消失，并且对于较短的输出和较不可预测的数据增加。QI比最快的算术编码器快得多，从高熵极限的6倍到低熵极限的100倍以上（“通常”快10-20倍）。这些加速是每个不太可能的符号仅使用3次加法、1次移位和2次阵列查找（均为32位精度）并且对于最可能的符号不使用编码操作的结果。此外，精确枚举算法锐化和它的格行走公式进行了推广。介绍了一种新的具有更广泛适用性的数值类型--滑动窗口整数。
2005-11-15 cs.DM cs.IT math.CO
The Limitation of Random Network Coding
在组播（单源多汇）网络中，随机线性网络编码可以达到最大流的上界。本文研究了随机线性网络编码在一般多源多汇情况下的性能，其中每个汇有不同的需求，并通过一个简单的最大流条件刻画了随机线性网络编码的所有可达速率。
2012-10-06 cs.IT cs.NI math.IT
Maximum Channel Coding Rate of Finite Block Length MIMO Faster-Than-Nyquist Signaling
该研究聚焦有限块长MIMO超奈奎斯特信道的最大信道编码速率，通过优化功率分配推导其表达式，仿真验证了超奈奎斯特信令在有限块长传输中的优势，为提升通信频谱效率、降低时延提供参考。
2025-01-14 cs.IT eess.SP math.IT
Notes on Generalizing the Maximum Entropy Principle to Uncertain Data
University of North Carolina Asheville（北卡罗来纳大学阿什维尔分校）
最大熵原理是一种广泛适用的技术，用于计算具有尽可能少的信息量的分布，以匹配经验数据，例如特征期望。我们试图将这一原则推广到无法计算经验特征预期的场景，因为模型变量只被部分观察到，这引入了对学习模型的依赖性。推广潜在最大熵原理，我们引入不确定最大熵，并描述了一个基于期望最大化的解决方案，近似解决这些问题。我们表明，我们的技术还推广了最大熵的原则。我们还讨论了使用黑盒分类器与我们的技术，它简化了利用稀疏，大数据集的过程。
2022-05-26 cs.IT cs.LG math.IT
Evaluation of Huffman and Arithmetic Algorithms for Multimedia Compression Standards
压缩是一种在不过度降低多媒体数据质量的情况下减少数据量的技术。压缩多媒体数据的转换和存储比原始未压缩多媒体数据快得多且更有效。存在用于多媒体数据压缩的各种技术和标准，特别是用于图像压缩的技术和标准，诸如JPEG和JPEG 2000标准。这些标准包括不同的功能，如颜色空间转换和熵编码。算术编码和霍夫曼编码通常用于熵编码阶段。在本文中，我们试图回答以下问题。从压缩比、性能和实现的角度来看，哪种熵编码（算术编码或霍夫曼编码）更适合于其他编码？我们已经实现并测试了霍夫曼和算术算法。实验结果表明，算术编码的压缩比优于霍夫曼编码，而霍夫曼编码的性能优于算术编码。另外，霍夫曼编码的实现比算术编码容易得多。
2011-08-31 cs.IT cs.MM math.IT
On Estimating Maximum Sum Rate of MIMO Systems with Successive Zero-Forcing Dirty Paper Coding and Per-antenna Power Constraint
Maynooth University（梅努斯大学）；University College Dublin（都柏林大学学院）
本文研究了具有天线功率约束的连续迫零脏纸编码（SZFDPC）的和速率最大化问题。虽然SZFDPC是一个低复杂度的替代最佳脏纸编码（DPC），有效的算法来计算其和率仍然是开放的问题，特别是在实际的PAPC。现有的解决方案所考虑的问题是计算效率低下，由于采用高复杂度的邻域点方法。在这项研究中，我们提出了两个新的低复杂性的方法来解决这个重要的问题。更具体地说，第一种算法通过将广播信道中的原始问题转化为多址信道中的等价问题来获得最优解，然后通过交替优化和逐次凸逼近来求解所得到的问题。我们还推导出一个次优的解决方案的基础上机器学习简单的线性回归是适用的。的方法进行了广泛的分析和验证，以证明其优于现有的方法。
2019-05-14 cs.IT cs.LG math.IT
Distributed Hypothesis Testing with Variable-Length Coding
当\emph{average}而不是\emph{maximum}的通信负载如在以前的作品中受到约束时，被认为是分布式测试与可变长度编码的独立性的问题。本文给出了在无噪声速率$R$链路和带停止反馈的离散无记忆信道（DMC）上通信时，在最大I类错误概率下，单传感器单决策中心系统的最优II类错误指数的特征。具体地，令$ε$表示最大允许的I类错误概率。然后，在平均通信负载的约束下具有速率- $R$链路的系统的最优指数与在最大通信负载约束下具有速率$R/(1-ε)$链路的这种系统的最优指数一致。因此，在平均通信负载约束下，强逆命题不成立。类似的观察也适用于测试对DMC的独立性。在可变长度编码和停止反馈的情况下，在平均通信负载约束下，当通信在容量为$C(1-ε)^{-1}$的DMC上时，在容量为$C$的DMC上的最佳II类差错指数等于在固定长度编码和最大通信负载约束下的最佳指数。特别地，在具有停止反馈的DMC上的变长编码下，强逆结果不成立，并且最佳误差指数仅通过其容量依赖于DMC的过渡律。
2020-05-18 cs.IT math.IT
On Linear Operator Channels over Finite Fields
受线性网络编码的启发，本文研究了在有限域上进行线性运算的通信信道，即线性算子信道。对于这样的信道，其输出向量是其输入向量的线性变换，并且变换矩阵是随机且独立地生成的。假设变换矩阵对于每T个输入向量保持恒定，并且对于发射机和接收机都是未知的。对变换矩阵的分布和场大小没有限制。具体而言，子空间编码在LOC的最优性进行了研究。子空间编码的最大可达速率的下界得到，它是紧的某些情况下。给出了等维子空间编码的最大可达速率的特征，并证明了使用等维子空间编码所带来的速率损失是微不足道的。信道训练的最大可达速率接近子空间编码的最大可达速率的下限。提出了两种基于信道训练的编码方法，并对它们的性能进行了评估。我们的第一种方法利用秩度量码，其最优性取决于最大秩距离码的存在。我们的第二种方法应用线性编码，它可以实现最大的可实现的信道训练速率。我们的代码设计只需要的知识的期望的秩的变换矩阵。第二种方案也可以在没有信道统计的先验知识的情况下无速率地实现。
2010-04-14 cs.IT math.IT
Data Compression with Stochastic Codes
Imperial College London（帝国理工学院）
本文综述相对熵编码，一种构建随机码以替代有损压缩中量化和熵编码的方法，强调计算与实践方面，并展示其简洁性与应用。
2026-06-08 cs.IT math.IT
Goal-Oriented Source Coding using LDPC Codes for Compressed-Domain Image Classification
IMT Atlantique（大西洋电信学院）；CNRS（法国国家科学研究中心）；Lab-STICC（信息科学与信号处理实验室）
本文提出将 LDPC 码作为压缩图像的熵编码方案，使 GRU 可直接在码流上分类；实验表明其优于 Huffman 和 Arithmetic 编码且模型更小。
2025-03-15 cs.AI cs.CV cs.IT
Conditional Entropy Coding for Efficient Video Compression
Uber ATG（优步先进技术集团）
我们提出了一个非常简单和有效的视频压缩框架，只专注于建模帧之间的条件熵。与先前基于学习的方法不同，我们通过不在帧之间执行任何形式的显式变换来降低复杂性，并假设每个帧都使用独立的最先进的深度图像压缩器进行编码。我们首先展示了一个简单的架构，它对图像潜码之间的熵进行建模，与其他神经视频压缩作品和视频编解码器一样具有竞争力，同时更快，更容易实现。然后，我们提出了一种新的内部学习扩展在这个架构之上，带来了额外的10%的比特率节省而不牺牲解码速度。重要的是，我们表明，我们的方法在MS-SSIM中的H.265和其他深度学习基线中，在更高比特率的UVG视频上，以及在更低帧速率上的所有视频编解码器上，都优于H.265和其他深度学习基线，同时解码速度比使用自回归熵模型的深度模型快数千倍。
2020-08-20 cs.CV cs.IT eess.IV
Stability of Scheduled Multi-access Communication over Quasi-static Flat Fading Channels with Random Coding and Joint Maximum Likelihood Decoding
本文研究了具有随机编码和联合最大似然译码的预定多址消息通信的稳定性。我们在这里考虑的框架模型的随机消息到达和随后的可靠的通信，通过适当地结合技术，从排队论和信息论。可以被调度用于同时传输的消息的数量被限制到给定的最大值，并且从发射机到接收机的信道是准静态的、平坦的并且具有独立的衰落。假设对消息传输的请求根据i.i.d.到达过程。然后，（i）我们推导出一类固定调度策略可实现的消息到达率向量区域的外界，（ii）我们证明对于满足外界的任何消息到达率向量，存在一个固定的状态无关策略，该策略导致相应消息到达过程的稳定系统，以及（iii）在大消息长度的限制下，我们表明，消息NAT到达率向量的稳定区域具有信息论容量区域解释。
2006-01-22 cs.IT math.IT
The Thermodynamics of Network Coding, and an Algorithmic Refinement of the Principle of Maximum Entropy
最大熵原理（Maxent）通常用于获得先验概率分布，作为在某些限制下获得吉布斯测度的方法，给出系统与分布中其余元素相比处于某种状态的概率。由于经典的基于熵的Maxent崩溃的情况下混淆所有不同程度的随机性和伪随机性，在这里，我们考虑到系统的生成机制，在合奏中考虑到分离的对象，可能符合一些限制下的原则，其熵是最大的，但可以从那些实际上是算法随机递归生成提供一个细化经典Maxent。我们利用因果算法演算，根据重新编程计算机代码的难度，推导出类似于数学的结果。利用可计算随机性和算法随机性之间的区别，我们量化了与重编程相关的信息损失成本。为了说明这一点，我们应用算法的改进Maxent图，并介绍了一个最大随机优先附件（MARPA）算法，概括了以前的方法。我们讨论了网络随机性评估的实际意义。我们的分析提供了洞察力，可重编程性的不对称性似乎起源于一个非单调的关系，算法的概率。我们的分析激发了对上述不对称性、可重编程性和计算的起源和后果的进一步分析。
2019-06-06 cs.IT math.IT
Metric and topological entropy bounds for optimal coding of stochastic dynamical systems
我们考虑的问题的最佳零延迟编码和估计的随机动力系统在有噪声的通信信道下的三个估计标准有关的低失真制度。考虑的标准是（i）强和（ii）弱形式的几乎必然稳定的估计误差，以及（ii）二次稳定的期望。对于所有这三个目标，我们推导出最小的信道容量上的下限$C_0$以上的目标可以实现一个任意小的错误。我们首先通过动力系统的方法，通过构建一个无限维的动力系统，并与这个动力系统的拓扑和度量熵的能力得到的界限。我们还考虑信息理论和概率理论的方法来解决不同的标准。最后，我们证明了一个无记忆的有噪信道一般不构成任何障碍，渐近几乎肯定状态估计任意小的误差，当系统中没有噪声。结果为所引入的准则提供了新的求解方法（例如，标准的信息论界限不能应用于某些准则），并建立了动力系统、网络控制和信息论之间的进一步联系，特别是在非线性随机系统的背景下。
2018-06-26 cs.IT math.IT math.OC
Graph-theoretical Constructions for Graph Entropy and Network Coding Based Communications
引入有向图的猜测数，即有向图的熵，作为网络编码实例可解性的直接判据。本文在猜测数方面做了两点贡献。首先，我们引入一个无向图的所有可能的配置，称为猜测图，它封装了配置之间的依赖的本质。证明了有向图的猜测数等于其猜测图的独立数的对数。因此，网络编码的可解性不再是每个节点所做的操作的问题，而是简化为可以在网络中传输的消息的问题。通过研究给定有向图的猜测图，以及如何组合有向图或字母表，从而得到有向图的猜测数的界。其次，我们构造特定的有向图与高猜测数，产生网络编码的情况下，大量的信息可以传输。首先提出了一种基于循环码的有限参数有向图的构造方法，其猜测数等于生成多项式的次数。然后，我们构建了一个无限类的有向图任意围长的线性猜测数和顶点数之间的比率趋于1，尽管这些有向图是任意稀疏的。这些构造产生具有相对少量的中间结点的可解网络编码实例，其中节点操作是已知的并且是线性的，尽管这些实例是稀疏的并且源任意远离其对应的汇。
2011-04-18 cs.IT cs.NI math.CO
Higher Order Context Transformations
最近提出的上下文变换和广义上下文变换方法，通过交换符号图来降低零阶熵，从而消除了输入信息中连续符号间的互信息。这些变换旨在用作零阶熵编码算法（如算术编码或霍夫曼编码）的预处理器，因为我们知道，特别是算术编码可以实现几乎与香农熵大小相同的压缩率。本文介绍了一种新的算法的基础上的概念，广义的上下文转换，允许转换的单词比简单的digram长。高阶上下文利用递归形式的广义上下文变换。结果表明，变换后的数据的零阶熵显着下降，但在另一方面，由单个变换的描述给出的开销增加，它已成为一个限制因素，在一个成功的较小的文件转换。
2017-01-05 cs.IT math.IT
