Remote Source Coding under Gaussian Noise : Dueling Roles of Power and Entropy Power
研究了分布式远程信源编码（CEO）问题，其中潜在信源不一定是高斯信源，但具有有限差分熵，且观测噪声是高斯噪声。主要结果是一个新的下界的总和率失真函数下任意失真措施。当专门的均方误差的情况下，它示出的界限完全反映了相应的上限，除了上限有源功率（方差），而下限有源熵功率。自从香农的工作以来，展示这种令人愉快的功率和熵功率的二元性的界限对于直接和集中式信源编码已经是众所周知的。虽然边界一般举行，他们的价值是最显着的CEO问题中的代理人的数量的函数时解释。
2019-02-07 cs.IT math.IT
On the Conditional Smooth Renyi Entropy and its Applications in Guessing and Source Coding
引入了一种不同于Renner和Wolf的条件光滑Renyi熵的新定义。结果表明，我们的定义的条件光滑Renyi熵是适当的，给出上下界的最佳猜测时刻的猜测问题中，猜测者被允许停止猜测，并宣布错误。进一步给出了最优猜测指数的一般公式。特别地，i.i.d.来源获得。另一个应用程序中的问题，信源编码与共同的边信息可在编码器和解码器也被证明。
2019-01-24 cs.IT math.IT
Data Compression with Relative Entropy Coding
University of Cambridge（剑桥大学）
本文研究了相对熵编码，探讨其在数据压缩中的应用，提出新的理论极限和算法，并展示其在图像、音频、视频和蛋白质数据压缩中的高效性能。
2026-03-24 cs.IT math.IT
An Entropy Coding Based on Binary Encoding for Mixed-Radix Digits
针对数值数据的基数转换需求，提出一种混合基数数字的二进制编码及支持并行解码的rANS编码变体，在保持压缩率的同时显著提升了吞吐量。
2023-09-12 cs.IT math.IT
Network Coding Capacity Regions via Entropy Functions
在本文中，我们使用熵函数来描述一般网络编码问题的速率容量元组集，这些元组可以是零解码错误，也可以是零解码错误。我们表明，当源是同位的，由Yeung，A First Course in信息论，第15.5节（2002年）得到的外边界是紧的，零误差可实现和消失误差可实现的速率容量元组的集合是相同的。我们还讨论了一组零错误和消失错误可实现的速率容量元组的网络编码问题的线性编码约束，路由约束（其中一些或所有节点只能执行路由）和保密约束。最后，我们表明，即使是显然简单的网络，最佳代码的设计可能是困难的。特别是，我们证明，对于增量组播问题和单源安全网络编码问题，表征的可实现集是非常困难的，线性网络代码可能不是最佳的。
2012-01-05 cs.IT math.IT
Entropy and Source Coding for Integer-Dimensional Singular Random Variables
熵和微分熵是信息论中的重要量。一个易于处理的扩展到奇异随机变量，既不是离散的，也不是连续的，迄今为止还没有。在这里，我们提出了这样一个扩展的实际相关类的整数维奇异随机变量。所提出的熵定义包含离散随机变量的熵和连续随机变量的微分熵作为特例。我们表明，它在Lipschitz函数下以自然的方式变换，并且在酉变换下是不变的。我们定义了整数维奇异随机变量的联合熵和条件熵，并证明了所提出的熵表达了有用的互信息表达式。作为我们的熵定义的第一个应用程序，我们提出了一个结果的最小预期码字长度的量化整数维奇异源和香农下界的整数维奇异源。
2017-01-03 cs.IT math.IT
Explicit Polyhedral Bounds on Network Coding Rate Regions via Entropy Function Region: Algorithms, Symmetry, and Computation
多个网络信息论问题的自动化解决方案，从确定所有信息不等式和线性码的限制等基本问题延伸到设计编码网络，分布式存储系统和缓存系统等应用问题，可以构成多面体投影。这些问题表现出多种类型的多面体对称性。它示出了如何利用这些对称性，以减少解决这些问题的复杂性，通过多面体投影。
2017-07-06 cs.IT math.IT
Combinatorial Entropy Encoding
本文提出了一种新的熵编码技术用于无损数据压缩。通过其符号排列中的词典索引来表示消息字符串会导致与消息的香农熵匹配的压缩版本。商业数据压缩标准在压缩过程的某个阶段使用霍夫曼或算术编码。在所提出的方法中，像算术编码一样，整个字符串被映射到整数，但不是基于分数。与算术和霍夫曼编码不同，不需要源的先验熵模型。提出了一种基于多项式系数的简单直观的熵编码算法，该算法采用较低的比特数对较频繁的符号进行编码。通过实例验证了算法的正确性。
2017-03-23 cs.IT math.IT
A Theory for Semantic Channel Coding With Many-to-one Source
本文针对多对一信源语义通信，提出可兼容既有定义的语义熵，并基于广义Fano不等式证明非零误码率下语义信道编码定理的可达性与逆定理。
2025-02-19 cs.IT math.IT
Fast Recursive Coding Based on Grouping of Symbols
提出了一种新的快速递归编码技术。它只与整数值不超过8位，是乘法自由。该算法所基于的递归间接地为非常大的字母表提供了相当有效的符号编码。所提出的技术的代码长度可以比算术编码少20-30%，在最坏的情况下，它只大1-3%。
2007-08-21 cs.IT math.IT
Rejection Sampling is Optimal for Relative Entropy Coding
Queen’s University（女王大学）；Imperial College London（帝国理工学院）
本文通过构造环投编码证明拒绝采样在相对熵编码中最优，展示了功能信息作为更紧的下界，并在一般情况下和奇异信道中给出最紧的界。
2026-07-27 cs.IT math.IT
Symmetry in Shannon's Noiseless Coding Theorem
陈述香农的无噪编码定理的各种作者，包括原来的，审查和澄清。关于这个定理的传统陈述往往不清楚它何时适用。介绍了一种新的符号，并阐明了应用领域。检查的界限定理导致一个新的对称重述。证明了推广的上界是一个可达上界，从而使定理具有对称性，并说明了信息熵与Gibbs和Boltmann的物理熵的关系。因此，香农熵的研究与物理学密切相关，并且存在信息的物理理论。本文是试图澄清这些关系的开始。
2010-10-29 cs.IT math.IT
Semantic Huffman Coding using Synonymous Mapping
针对语义通信场景下的信源压缩需求，本文提出基于同义映射与同义集的语义哈夫曼编码，理论上可逼近语义熵，实验显示其在语义无损条件下的压缩效率优于经典哈夫曼编码。
2024-01-26 cs.IT math.IT
Mismatched codebooks and the role of entropy-coding in lossy data compression
介绍了一种基于随机编码的通用量化方案，并分析了其性能。该方案包括一个源独立的随机码本（通常_mismatched_to_source分布），其次是最佳熵编码是_matched_to_quantized码字分布。在码本维数较大的情况下，在给定的失真下，推导出了该方案所能达到的码率的单字母公式。由于熵编码的速率降低进行了量化，它表明，它可以是任意大的。在"几乎统一"码本的特殊情况下（例如，身份证高斯码本与大方差）和差分失真措施，一个新的连接之间的压缩实现本方案和“通用”熵编码抖动格量化器的性能。这种连接推广了抖动格量化器冗余的"半比特"界限。此外，它证明了一个强大的概念的普遍性，其中一个单一的“几乎均匀”的码本是接近最佳的任何源和任何差异失真的措施。
2005-11-02 cs.IT math.IT math.PR
Faster Relative Entropy Coding with Greedy Rejection Coding
本文提出贪婪拒绝编码 GRC 及其变体 GRCS、GRCD，将拒绝式 REC 推广到任意概率空间，并从理论和实验上证明其运行时间与码长优势。
2023-09-27 cs.IT math.IT
Compressive imaging using fast transform coding
我们提出了基于Delsarte-Goethals框架的压缩成像的确定性采样策略。我们表明，这些采样策略的结果，在多尺度测量，可以与二维Haar小波变换。我们通过数值实验证明了我们提出的策略的有效性。
2016-09-21 cs.IT math.IT
Minimum Redundancy Coding for Uncertain Sources
考虑相对于给定标称分布在固定最大相对熵内的源分布的集合。在这个相对熵球上的无损信源编码可以以多于一种方式来实现。以前考虑的一个问题是找到一个minimax平均长度的源代码。最小化参与者是码字长度-算术码为实数，前缀码为整数-而最大化参与者是不确定的源分布。另一个传统的最小化目标是这里考虑的第一个目标，最大（平均）冗余。这个问题减少到一个扩展的指数霍夫曼目标在文献中处理，但迄今没有直接的实际应用。除此之外，本文还研究了极大极小逐点冗余的相关问题以及Gawrychowski和Gagie所考虑的问题，对于一个足够小的相对熵球，该问题等价于极大极小冗余。可以考虑基于最佳实数（“理想”）码字长度的类香农编码和类霍夫曼最佳前缀编码。
2011-05-01 cs.IT math.IT
Entropy and Distributed Source Coding of Connected Soft Random Geometric Graphs
University of Bristol（布里斯托大学）
本文针对连通阈值之上的软随机几何图（SRGG），通过证明其新极限定理与渐近等分性质，确定了有限编码器独立压缩场景下的Slepian-Wolf率区域，为其分布式压缩提供了方法。
2026-09-04 cs.IT math.IT math.PR
Forward asymmetric numeral systems coding for natural language text compression
Taras Shevchenko National University of Kyiv（基辅塔拉斯·舍甫琴科国立大学）
本文提出结合非对称数字系统编码的建模与自适应编码方法，以实现高效的数据处理速度和压缩比，并解决自适应ANS的实现问题。
2026-05-20 cs.IT math.IT
Co-Adaptive Entropy Modeling and Rate-Distortion-Optimal Bit Allocation for Perceptual Audio Coding
Stanford University（斯坦福大学）
该研究提出一种无模型边信息的感知音频编码器，通过协同自适应熵建模与率失真最优比特分配，可降低感知失真，经MUSHRA测试验证了其性能排序。
2026-10-14 cs.IT eess.AS math.IT
Graph Entropy, Network Coding and Guessing games
我们介绍了有向图的（私有）熵（在新的网络编码意义上）以及许多相关概念。我们证明了一个有向图的熵与它的猜测数相同，并且可以用顶点数减去图的最短索引码的大小从下有界。我们表明，每个特定的多个单播网络的网络编码的可解性是完全确定的熵（以及由最短的索引代码）的有向图，通过识别每个源节点与每个相应的目标节点发生。香农信息不等式可以用来计算图的熵的上界以及计算最小索引码的大小。最近，一些新的所谓的非香农型信息不等式族已被发现。它已被证明，存在通信网络的能力严格小于所需的可解性，但这一事实不能使用香农的经典信息不等式。基于这一结果，我们表明，存在图的熵，不能只使用香农的经典信息不等式计算，并表明，更好的估计，可以通过使用某些非香农型信息不等式。
2007-11-27 cs.IT math.CO math.IT
Fast and Lightweight Rate Control for Onboard Predictive Coding of Hyperspectral Images
预测编码以其优良的率失真性能和较低的复杂度在航天器上的超光谱图像压缩中具有重要的应用前景。在这封信中，我们提出了一种码率控制算法，并将其集成在CCSDS-123无损压缩建议的有损扩展中。所提出的速率算法通过更快和更简单的数量级来实现，同时在输出速率和可比或更好的图像质量方面仍然提供相同的精度，从而彻底改变了我们以前的方案。
2017-01-30 cs.IT math.IT
Source coding with escort distributions and Renyi entropy bounds
我们讨论了护送分布和雷尼熵的信源编码的上下文中的利益。我们首先回顾坎贝尔的信源编码定理，该定理将广义长度度量与雷尼-察利斯熵联系起来。我们表明，相关的最佳代码可以得到使用护送分布的考虑。我们提出了一个新的家庭的措施长度涉及护送分布，我们表明，这些广义长度也有界以下的Rényi熵。此外，我们得到的标准香农码的长度是最佳的新的广义长度措施，无论熵指数。最后，我们表明，在这种情况下存在着标准和护送分布之间的相互作用。
2011-09-15 cond-mat.stat-mech cs.IT math-ph
Entropy Coding of Unordered Data Structures
University College London（伦敦大学学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Amsterdam（阿姆斯特丹大学）
本研究提出可对无序对象序列实现最优压缩的通用方法shuffle coding，可适配多重集、图等多种数据结构，发布的开源实现可在多类图数据集上取得当前最优压缩率。
2024-08-16 cs.DS cs.IT cs.LG
Bitstream Organization for Parallel Entropy Coding on Neural Network-based Video Codecs
本文针对神经视频编解码器并行熵编码的比特流组织问题，提出压缩并行解码入口点、双向比特流打包和联合优化算术编码终止方法，显著降低并发解码的比特率开销。
2023-12-01 cs.IT eess.IV math.IT
Why Shape Coding? Asymptotic Analysis of the Entropy Rate for Digital Images
本文主要研究图像压缩的极限理论。证明了对于一个图像源，存在一种形状编码方法，在一定条件下，当编解码器中的形状像素比为$O({1 \over {\log t}})$时，该方法可以达到熵率。基于这一新发现，提出了一种基于形状的图像编码框架，并证明了该框架对于平稳和遍历过程是渐近最优的。此外，在图像数据库MNIST中，还证明了编解码器中形状像素比满足$O({1 \over {\log t}})$的条件，说明了形状编码软压缩是图像无损压缩的一种近似最优方案。
2022-12-27 cs.IT eess.IV math.IT
Optimized learned entropy coding parameters for practical neural-based image and video compression
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
当权重和激活被量化为低精度整数时，基于神经的图像和视频编解码器的功率效率显著提高。虽然存在用于减少量化效应的通用技术，但是当不考虑特定熵编码属性时可能发生大的损失。本文分析了参数量化对熵编码的影响，并提出了一种减小熵编码损失的方法。它示出，通过使用某种类型的编码参数学习，均匀量化成为实际上最佳的，也简化了代码存储器的要求最小化。文中给出了新表示的数学性质，并通过编码实验证明了其有效性，结果表明，在每个网络输出的精度低至4~bits时，可以获得良好的结果，而在8~bits时几乎没有损失。
2023-01-20 cs.IT cs.LG cs.MM
Fast Xor-based Erasure Coding based on Polynomial Ring Transforms
MDS纠删码软件实现的复杂度主要取决于有限域运算实现的效率。本文提出了一种降低有限域乘法复杂度的方法，即利用域与环之间的快速变换在环上进行乘法运算。我们表明，移动到一个环降低了操作的复杂性。然后，我们表明，这种结构允许使用简单的调度，以减少操作的数量。
2017-06-13 cs.IT math.IT
Foundations of information theory for coding theory
本文通过信息论基础构建，探讨了编码理论中噪声信道的理论极限及最大似然解码原理。
2025-12-04 cs.IT math.IT math.PR
Data Compression with Stochastic Codes
Imperial College London（帝国理工学院）
本文综述相对熵编码，一种构建随机码以替代有损压缩中量化和熵编码的方法，强调计算与实践方面，并展示其简洁性与应用。
2026-06-08 cs.IT math.IT
Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective
University of Tübingen（蒂宾根大学）
熵编码是数据压缩的主干。新颖的基于机器学习的压缩方法通常使用称为非对称数字系统（ANS）的新熵编码器[Duda等人，2015]，其提供非常接近最佳比特率并简化了[Townsend等人，2019]先进的压缩技术，如比特回编码。然而，具有机器学习背景的研究人员通常很难理解ANS的工作原理，这阻碍了他们充分利用其多功能性。本文旨在作为一种教育资源，使ANS更平易近人，从一个新的角度提出的潜在变量模型和所谓的位回技巧。我们将逐步引导读者在Python编程语言中实现ANS的完整实现，然后将其推广到更高级的用例。我们还提出并实证评估了各种熵编码器设计用于研究和生产使用的开源库。相关的教学视频和问题集可在网上获得。
2022-01-10 cs.IT cs.LG math.IT
Gaussian Rate-Distortion-Perception Coding and Entropy-Constrained Scalar Quantization
本文研究高斯率-失真-感知函数的已知界，证明其非退化性，给出Wasserstein-2距离下的改进下界，并揭示这些界在弱感知约束下通常不紧。
2024-09-04 cs.IT cs.LG math.IT
Entropy Concentration and the Empirical Coding Game
CWI（CWI（荷兰数学和计算机科学研究学会））；EURANDOM（EURANDOM（埃因霍温概率与统计研究所））
我们给出了最大熵/最小相对熵推理的特征，通过提供两个“强熵集中”定理。这些定理统一和推广了Jaynes的“集中现象”和Van Campenhout和Cover的“条件极限定理”。这些定理精确地描述了在给定约束条件下的先验分布Q和分布P在什么意义上最小化相对熵D（P|| Q）在满足约束的所有分布上，彼此“接近”。然后，我们应用我们的定理，建立熵浓度和最大熵推理由于托普索和其他博弈论表征之间的关系。
2008-09-05 cs.IT cs.LG math.IT
The Thermodynamics of Network Coding, and an Algorithmic Refinement of the Principle of Maximum Entropy
最大熵原理（Maxent）通常用于获得先验概率分布，作为在某些限制下获得吉布斯测度的方法，给出系统与分布中其余元素相比处于某种状态的概率。由于经典的基于熵的Maxent崩溃的情况下混淆所有不同程度的随机性和伪随机性，在这里，我们考虑到系统的生成机制，在合奏中考虑到分离的对象，可能符合一些限制下的原则，其熵是最大的，但可以从那些实际上是算法随机递归生成提供一个细化经典Maxent。我们利用因果算法演算，根据重新编程计算机代码的难度，推导出类似于数学的结果。利用可计算随机性和算法随机性之间的区别，我们量化了与重编程相关的信息损失成本。为了说明这一点，我们应用算法的改进Maxent图，并介绍了一个最大随机优先附件（MARPA）算法，概括了以前的方法。我们讨论了网络随机性评估的实际意义。我们的分析提供了洞察力，可重编程性的不对称性似乎起源于一个非单调的关系，算法的概率。我们的分析激发了对上述不对称性、可重编程性和计算的起源和后果的进一步分析。
2019-06-06 cs.IT math.IT
Compressing Images by Encoding Their Latent Representations with Relative Entropy Coding
变分自编码器（VAE）在学习图像压缩中得到了广泛的应用。它们用于学习表达性潜在表示，下游压缩方法可以高效地操作。最近提出的“比特回退”方法可以间接编码的潜在表示的图像与代码长度接近的相对熵之间的潜在后验和先验。然而，由于底层算法的原因，这些方法只能用于无损压缩，并且当同时压缩多个图像时，它们只能达到它们的标称效率;它们对于压缩单个图像是低效的。作为替代方案，我们提出了一种新的方法，相对熵编码（REC），它可以直接编码的潜在表示与codelength接近的相对熵为单个图像，支持我们的经验结果上获得的Cifar 10，ImageNet 32和柯达数据集。此外，与以前的比特回退方法不同，REC可立即应用于有损压缩，在此情况下，它可与Kodak数据集上的最新技术竞争。
2021-04-19 cs.IT eess.IV math.IT
Quantized Indexing: Beyond Arithmetic Coding
量化索引是一种快速且节省空间的枚举（组合）编码形式，是渐近最优通用熵编码算法中最强的。目前枚举编码的进展类似于算术编码相对于其无限精度的前身Elias编码所取得的进展。算法精度、执行时间、表大小和编码延迟都在低于2*log（e）/2^g位/符号的冗余度下以因子O（n）减小（对于n个输入符号和g位QI精度）。由于其更严格的枚举，QI输出冗余低于算术编码的冗余（其可以被导出为QI的较低精度近似）。相对压缩增益在大n和高熵限制中消失，并且对于较短的输出和较不可预测的数据增加。QI比最快的算术编码器快得多，从高熵极限的6倍到低熵极限的100倍以上（“通常”快10-20倍）。这些加速是每个不太可能的符号仅使用3次加法、1次移位和2次阵列查找（均为32位精度）并且对于最可能的符号不使用编码操作的结果。此外，精确枚举算法锐化和它的格行走公式进行了推广。介绍了一种新的具有更广泛适用性的数值类型--滑动窗口整数。
2005-11-15 cs.DM cs.IT math.CO
Evaluation of Huffman and Arithmetic Algorithms for Multimedia Compression Standards
压缩是一种在不过度降低多媒体数据质量的情况下减少数据量的技术。压缩多媒体数据的转换和存储比原始未压缩多媒体数据快得多且更有效。存在用于多媒体数据压缩的各种技术和标准，特别是用于图像压缩的技术和标准，诸如JPEG和JPEG 2000标准。这些标准包括不同的功能，如颜色空间转换和熵编码。算术编码和霍夫曼编码通常用于熵编码阶段。在本文中，我们试图回答以下问题。从压缩比、性能和实现的角度来看，哪种熵编码（算术编码或霍夫曼编码）更适合于其他编码？我们已经实现并测试了霍夫曼和算术算法。实验结果表明，算术编码的压缩比优于霍夫曼编码，而霍夫曼编码的性能优于算术编码。另外，霍夫曼编码的实现比算术编码容易得多。
2011-08-31 cs.IT cs.MM math.IT
Higher Order Context Transformations
最近提出的上下文变换和广义上下文变换方法，通过交换符号图来降低零阶熵，从而消除了输入信息中连续符号间的互信息。这些变换旨在用作零阶熵编码算法（如算术编码或霍夫曼编码）的预处理器，因为我们知道，特别是算术编码可以实现几乎与香农熵大小相同的压缩率。本文介绍了一种新的算法的基础上的概念，广义的上下文转换，允许转换的单词比简单的digram长。高阶上下文利用递归形式的广义上下文变换。结果表明，变换后的数据的零阶熵显着下降，但在另一方面，由单个变换的描述给出的开销增加，它已成为一个限制因素，在一个成功的较小的文件转换。
2017-01-05 cs.IT math.IT
Fixed-to-Variable Length Resolution Coding for Target Distributions
考虑了在非标准化信息发散方面近似目标分布所需的随机位数。结果表明，对于一个可变到可变长度编码器，这个数字是下界的熵的目标分布。利用M型量化和Tunstall编码构造了一个固定变长编码器。它示出的编码器实现了在极限的非归一化的信息发散为零的随机比特的数目，每个生成的符号等于熵的目标分布。数值结果表明，该编码器显着优于最佳块到块编码器在有限长度制度。
2013-08-01 cs.IT math.IT
Accelerating Relative Entropy Coding with Space Partitioning
University of Cambridge（剑桥大学）
针对通用相对熵编码（REC）编码时间过长、快速算法适用场景有限的问题，提出基于空间划分的REC方案，可处理更大KL散度的任务，在多个压缩任务中降低比特率，提升REC在神经压缩中的实用性。
2024-10-29 cs.IT cs.LG math.IT
Non-asymptotic Equipartition Properties for Independent and Identically Distributed Sources
给定具有有限Shannon熵或微分熵（视情况而定）$H(X)$的独立且同分布源$X = \{X_i \}_{i=1}^{\infty}$，建立关于$H(X)$的非渐近均分性质（NEP），其通过确定$X_1 X_2...X_n $的信息谱来表征对于任何有限块长度$n$，$-{1\over n} \ln p(X_1 X_2...X_n)$与$H(X)$有多接近，即，$-{1\over n} \ln p(X_1 X_2...X_n)$的分布。非渐近均分性质（相对于条件熵，互信息，和相对熵）在类似的性质也成立。这些非渐近均分性质有助于信息论中非渐近编码（包括信源和信道编码）结果的发展，其方式与迄今为止在信息论中建立的所有渐近编码定理的渐近均分性质相同。作为示例，关于$H(X)$的NEP被用于建立非渐近固定速率信源编码定理，该定理对于任何有限块长度$n$揭示了关于当错误概率是常数或随着块长度$n$在子多项式处变为0时$X_1...X_n$的固定速率编码的最小速率与错误概率之间的折衷的完整画面，多项式或次指数速度。借助于关于其它信息量的NEP，类似性质的非渐近信道编码定理将在另一篇论文中建立。
2012-04-16 cs.IT math.IT
Coding scheme for 3D vertical flash memory
最近引入的3D垂直闪存预计是一种颠覆性技术，因为它通过在垂直方向上堆叠单元来克服传统2D平面闪存的缩放挑战。然而，3D垂直闪存遭受称为快速去陷获的新问题，其是快速电荷损失问题。在本文中，我们提出了一个计划，以补偿故意小区间干扰（ICI）的快速去陷的影响。为了正确地控制故意ICI，我们的方案依赖于一种编码技术，该技术在编码阶段结合了快速去陷的边信息。这种技术与众所周知的在具有缺陷单元的存储器中编码的问题密切相关。数值结果表明，该方案可以有效地解决快速脱陷问题。
2015-02-10 cs.IT math.IT
Entropy coding with Variable Length Re-writing Systems
本文介绍了一套新的分组源代码，非常适合于数据压缩。这些代码由a.l->b形式的产生式规则集定义，其中A中的a表示来自源字母表A的值，并且l、b是小比特序列。这些代码自然包含其他可变长度代码（VLC），例如霍夫曼代码。结果表明，这些代码可能有一个类似的，甚至更短的平均描述长度比霍夫曼码相同的编码和解码复杂度。描述了允许在位域中保持字典顺序的第一代码设计方法。相应的代码具有与构造它们的霍夫曼代码相同的平均描述长度（mdl）。因此，从压缩的角度来看，它们的性能优于被设计为在位域中提供字典式属性的Hu-Tucker码。第二种构造方法允许获得代码，使得边际比特概率随着序列长度的增加而收敛到0.5，并且即使编码器不知道概率分布函数也可以实现这一点。
2005-08-11 cs.IT math.IT
A Fast Decodable Full-Rate STBC with High Coding Gain for 4x2 MIMO Systems
在这项工作中，一个新的快速解码空时分组码（STBC）的建议。该码是用于4x 2多输入多输出（MIMO）传输的全速率和全分集。由于码字的独特结构，所提出的码需要低得多的计算复杂性来提供最大似然（ML）解码性能。结果表明，当采用M元平方QAM星座时，ML译码复杂度仅为O（M^{4.5}）。最后，建议的代码具有最高的最小行列式在文献中已知的快速可解码的STBC。仿真结果表明，该码提供了最好的比特出错率（BER）性能之间的国家的最先进的空时分组码。
2014-01-06 cs.IT math.IT
On Strong Data-Processing and Majorization Inequalities with Applications to Coding Problems
这项工作提供了数据处理和优化不等式的$f$ -分歧，它认为他们的一些应用程序的编码问题。这项工作还提供了一个离散随机变量的函数的Rényi熵与有限个可能的值，其中所考虑的功能是不是一对一的紧界，和他们的推导是基于优化和Schur-Schurt的Rényi熵。$f$ -发散不等式的一个应用是指列表解码的性能分析，无论是固定的或可变的列表大小，列表解码错误概率上的一些早期的界限，在一个统一的方式再现，并获得新的界限，并举例说明数字。另一个应用是关于近似的概率质量函数，这是由汤斯顿树的叶子，由等概率分布的质量的研究。进一步分析了有限长Tunstall码的压缩率，以证明其与无记忆平稳离散信源的香农熵的接近程度。考虑到Rényi熵的严格界和Campbell的工作，导出了离散无记忆信源的无损数据压缩的非渐近界.
2021-03-31 cs.IT math.IT
Fast-Decodable MIDO Codes with Large Coding Gain
本文提出了一种新的方法，以获得全分集，速率2（每信道使用2个复符号的速率）空时分组码（STBC），是全速率的多输入，双输出（MIDO）系统。使用该方法，构造了用于$4\times2$、$6 \times 2$、$8\times2$和$12 \times 2$系统的速率为2的空时分组码，并且这些空时分组码是快速ML可解码的，具有大的编码增益，并且由这些空时分组码组成的空时分组码方案具有非零行列式（NVD），使得它们对于它们各自的MIDO系统是DMT最优的。本文还证明了SR码[R.韦赫卡拉赫蒂角Hollanti和F. Oggier，“Fast-Decodable Asymmetric Space-Time Codes from Division Algebras，”IEEE Trans. Inf. Theory，Apr.2012]，其具有与本文中为$4\times2$系统构造的STBC相同的代数结构，所述STBC在具有4-/16-QAM的大编码增益的$4\times2$ MIDO系统的已知速率-2 STBC中具有最低的ML解码复杂度。这也肯定地解决了先前的猜想，即基于SR码的STBC方案具有NVD特性，因此对于$4\times2$系统是DMT最优的。
2013-04-24 cs.IT math.IT
Sequential Recurrence-Based Multidimensional Universal Source Coding of Lempel-Ziv Type
我们定义了一个算法，分析多维数组顺序成主要是不重复的，但嵌套的多维子数组的大小不断增加，并表明所产生的子块指针编码器压缩几乎每一个实现的任何有限字母遍历过程$\mathbb{Z}_{\geq0}^d$的熵，在极限。
2014-08-19 cs.IT math.IT
Metric and topological entropy bounds for optimal coding of stochastic dynamical systems
我们考虑的问题的最佳零延迟编码和估计的随机动力系统在有噪声的通信信道下的三个估计标准有关的低失真制度。考虑的标准是（i）强和（ii）弱形式的几乎必然稳定的估计误差，以及（ii）二次稳定的期望。对于所有这三个目标，我们推导出最小的信道容量上的下限$C_0$以上的目标可以实现一个任意小的错误。我们首先通过动力系统的方法，通过构建一个无限维的动力系统，并与这个动力系统的拓扑和度量熵的能力得到的界限。我们还考虑信息理论和概率理论的方法来解决不同的标准。最后，我们证明了一个无记忆的有噪信道一般不构成任何障碍，渐近几乎肯定状态估计任意小的误差，当系统中没有噪声。结果为所引入的准则提供了新的求解方法（例如，标准的信息论界限不能应用于某些准则），并建立了动力系统、网络控制和信息论之间的进一步联系，特别是在非线性随机系统的背景下。
2018-06-26 cs.IT math.IT math.OC
Conditional Entropy Coding for Efficient Video Compression
Uber ATG（优步先进技术集团）
我们提出了一个非常简单和有效的视频压缩框架，只专注于建模帧之间的条件熵。与先前基于学习的方法不同，我们通过不在帧之间执行任何形式的显式变换来降低复杂性，并假设每个帧都使用独立的最先进的深度图像压缩器进行编码。我们首先展示了一个简单的架构，它对图像潜码之间的熵进行建模，与其他神经视频压缩作品和视频编解码器一样具有竞争力，同时更快，更容易实现。然后，我们提出了一种新的内部学习扩展在这个架构之上，带来了额外的10%的比特率节省而不牺牲解码速度。重要的是，我们表明，我们的方法在MS-SSIM中的H.265和其他深度学习基线中，在更高比特率的UVG视频上，以及在更低帧速率上的所有视频编解码器上，都优于H.265和其他深度学习基线，同时解码速度比使用自回归熵模型的深度模型快数千倍。
2020-08-20 cs.CV cs.IT eess.IV
Out-of-Distribution Detection using Maximum Entropy Coding
University of Hawaii at Manoa（夏威夷大学马诺阿分校）；John A. Burns School of Medicine, University of Hawaii（夏威夷大学约翰·A·伯恩斯医学院）
本文提出一种基于最大熵编码的分布外检测方法，通过统计量关联最大熵分布计算总码长，并结合双向生成网络在潜空间转换未知真实数据，在多数异常检测实验中表现优于其他生成神经网络方法。
2024-04-25 cs.IT cs.LG math.IT
Rate Distortion Function for a Class of Relative Entropy Sources
本文在测度空间中研究了一类信源分布的率失真或具有保真度准则的信源编码。源分布类由真实分布和标称分布之间的相对熵约束集描述。率失真问题的类，从而制定和解决使用极大极小化策略，这导致在鲁棒的信源编码与保真度标准。结果表明，极大极小和极大极小策略可以显式计算，它们是经典解的推广。最后，对于离散无记忆不确定源，率失真定理的类省略推导推导，而相反的推导。
2013-05-06 cs.IT math.IT
Generalized Universal Coding of Integers
通用整数编码（UCI）是一类变长码，它使得期望码字长度与$\max\{1,H(P)\}$的比值在一个常数因子内，其中$H(P)$是递减概率分布$P$的香农熵。然而，如果我们考虑预期码字长度与$H(P)$的比率，则当$H(P)$趋于零时，通过使用UCI，该比率趋于无穷大。为了解决这个问题，本文提出了一类广义通用整数编码（GUCI），使得期望码字长度与$H(P)$的比值在一个常数因子$K$内.首先，给出了GUCI的定义，介绍了GUCI的编码结构。接下来，我们提出了一类GUCI $\mathcal{C}$，以实现扩展因子$K_{\mathcal{C}}=2$，并表明最佳GUCI在$1\leq K_{\mathcal{C}}^{*}\leq 2$范围内。然后，通过比较UCI和GUCI，我们表明，当熵很大或$P(0)$不大，也有情况下，平均码字长度的GUCI是较短的。最后，给出了渐近最优的GUCI。
2022-04-15 cs.IT math.IT
Graph-theoretical Constructions for Graph Entropy and Network Coding Based Communications
引入有向图的猜测数，即有向图的熵，作为网络编码实例可解性的直接判据。本文在猜测数方面做了两点贡献。首先，我们引入一个无向图的所有可能的配置，称为猜测图，它封装了配置之间的依赖的本质。证明了有向图的猜测数等于其猜测图的独立数的对数。因此，网络编码的可解性不再是每个节点所做的操作的问题，而是简化为可以在网络中传输的消息的问题。通过研究给定有向图的猜测图，以及如何组合有向图或字母表，从而得到有向图的猜测数的界。其次，我们构造特定的有向图与高猜测数，产生网络编码的情况下，大量的信息可以传输。首先提出了一种基于循环码的有限参数有向图的构造方法，其猜测数等于生成多项式的次数。然后，我们构建了一个无限类的有向图任意围长的线性猜测数和顶点数之间的比率趋于1，尽管这些有向图是任意稀疏的。这些构造产生具有相对少量的中间结点的可解网络编码实例，其中节点操作是已知的并且是线性的，尽管这些实例是稀疏的并且源任意远离其对应的汇。
2011-04-18 cs.IT cs.NI math.CO
Coding in the fork network in the framework of Kolmogorov complexity
经典信息论（香农熵理论）中的许多陈述在算法信息论（在柯尔莫哥洛夫复杂性的框架中）中有自然的对应物。在本文中，我们讨论了一个简单的例子之间的并行香农和Kolmogorov的理论：我们证明了在设置Kolmogorov复杂性的版本沃尔夫的表征可容许率的叉网络。
2016-05-02 cs.IT math.IT
