Minimum Delay Huffman Code in Backward Decoding Procedure
对于一些解码速度和容错很重要的应用，如视频存储，一个成功的答案是Fix-Free Codes。263+和MPEG-4等标准中得到了应用。使用无固定码的代价是增加了码的冗余度，这意味着我们需要增加表示任何信息的位数。因此，我们研究了具有低且可忽略的反向解码延迟的霍夫曼码的使用。我们表明，对于几乎所有的情况下，总是有一个最小延迟霍夫曼码为一个给定的长度向量。计算了该码对反均匀信源的平均时延，与仿真结果一致，并表明对于大字母表信源，该时延为1比特。提出了一种寻找性能良好的最小时延码的算法。
2013-11-24 cs.IT math.IT
On Multi-Channel Huffman Codes for Asymmetric-Alphabet Channels
零误差单通道信源编码在过去的几十年里得到了广泛的研究。然而，其自然的多通道推广没有得到很好的研究。虽然十年前研究了具有多个字母表信道的特殊情况，但是在这种设置中的码在数据压缩方面没有单信道码的优势，使得它们在大多数应用中毫无价值。在本文中，我们打破了僵局，表明它是可能的，以击败单通道源代码在压缩假设不对称字母表通道。本文对单通道信源编码中的几个经典结果进行了多通道模拟，如多通道Huffman码是最优树可译码码。我们还展示了一些证据，找到一个有效的多通道霍夫曼码的建设可能是困难的。然而，我们提出了一个次优的代码结构，其冗余度保证不大于最佳的单通道源代码。
2021-05-08 cs.IT math.IT
Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought
研究混合专家架构路由逻辑，揭示其是哈夫曼编码体现，提出频率多样性定律。发现Qwen3.5-35B-A3B的冗余陷阱，提出子集差异剪枝策略，证明可释放模型哈夫曼效率，建议下一代模型转向最小描述长度最优。
2026-07-24 cs.AI cs.CL cs.IT
Average redundancy of the Shannon code for Markov sources
众所周知，对于无记忆源，固定长度到可变长度的码（例如香农码和霍夫曼码）的平均和最大冗余对于长块表现出两种行为模式。它要么收敛到一个极限，要么有一个振荡模式，这分别取决于某些参数的非理性或理性，这些参数取决于源。在本文中，我们将这些发现，关于香农码，马尔可夫源的情况下，这是相当多的参与。虽然收敛与振荡行为的这种二分法在其他背景下（包括更新理论、遍历理论、局部极限定理和离散分布的大偏差）是众所周知的，但在信息论中（例如，在冗余分析中），这是最近才认识到的。据我们所知，到目前为止，还没有关于马尔可夫源的这类结果的报道。我们提供了一类不可约的，周期性和非周期性的，马尔可夫源的香农码冗余的收敛与振荡行为的精确表征。这些发现是通过分析方法，如傅立叶/费耶尔级数分析和矩阵的谱分析。
2012-08-06 cs.IT math.IT
Tight Bounds on Minimum Maximum Pointwise Redundancy
本文提出了新的下限和上限的最佳压缩的二进制前缀码的最可能的输入符号，其中压缩效率是由非线性码字长度的目标，最大逐点冗余最小化。这一目标涉及通用建模和香农编码，并且这些边界在整个区间内都是紧的。上界也适用于一个相关的目标，即dth指数冗余。
2008-09-08 cs.IT math.IT
Directional Tensor Product Complex Tight Framelets with Low Redundancy
虽然高冗余度的紧帧在应用中可以提高性能，但随着维数的增加，计算量也会急剧增加，帧系数的存储量也会呈指数级增长。这严重地限制了这种紧帧对于中等高维度中的问题（诸如三维中的视频处理）的有用性。受[14，18]中的方向张量积复紧框架${TP-CTF}_m$与$m\ge 3$及其在[18，30]中图像处理的令人印象深刻的性能的启发，本文引入了具有低冗余度的方向张量积复紧框架${TP-CTF}^!_6$（称为约简${TP-CTF}_6$）。这种${TP-CTF}_6^!$是具有混合采样因子的紧小框架滤波器组的特定示例。$d$维度中的${TP-CTF}^!_6$不仅提供良好的方向性，而且具有低冗余率$\frac{3^d-1}{2^d-1}$（例如，维度$d=1,..., 5$的冗余率分别为$2, 2\mathord{\frac{2}{3}}, 3\mathord{\frac{5}{7}}, 5\mathord{\frac{1}{3}}$和$7\mathord{\frac{25}{31}}$）。此外，我们对图像/视频去噪和修复的数值实验表明，使用我们提出的${TP-CTF}^!_6$的性能往往是可比的，有时优于几个国家的最先进的基于帧的方法，具有更高的冗余率比${TPCTF}^!_6$。
2014-12-17 cs.IT math.IT
A nearly tight memory-redundancy trade-off for one-pass compression
令$s$是长度为$n$的字符串，其在长度为恒定的$σ$的字母表上，并且令$c$和$ε$是具有（1 \geq c \geq 0）和（ε> 0）的常数。使用（O（n））时间，（O（n^c））位存储器和一次通过，我们总是可以同时对所有整数（k \geq 0）以（n H_k（s）+ O（σ^k n^{1 - c + ε}））位编码$s$。另一方面，即使在无限时间的情况下，使用（O（n^c））位的存储器和一遍，我们也不能总是在（O（n H_k（s）+ σ^k n^{1 - c - ε}））位中对$s$进行编码，例如，（k = \lceil（c + ε/ 2）\log_σ n \rceil）。
2007-08-14 cs.IT math.IT
A Gallager-Type Redundancy Bound for Binary Shannon-Fano Coding
Saarland University（萨尔兰州立大学）
研究二进制香农 - 法诺编码冗余界，通过构建法诺树等方法，得出依赖最大源概率\(p_1\)的显式七段包络，是首个此类冗余界。
2026-07-07 cs.IT math.IT math.PR
Low-Density Arrays of Circulant Matrices: Rank and Row-Redundancy Analysis, and Quasi-Cyclic LDPC Codes
本文对零空间为QC-LDPC码的循环数阵列的秩冗余和行冗余进行了一般性分析。基于Fourier变换和矩阵共轭类及Hadamard积的性质，给出了一般循环数组的秩和行冗余度的严格上界，使得在构造QC-LDPC码时考虑行冗余度以获得更好的性能成为可能.进一步研究了基于Vandermonde矩阵和基于拉丁方的QC-LDPC码的秩，并给出了在某些特定情况下的秩的组合表达式，证明了所得到的界的紧性.此外，本文还分析了几种新的大行冗余准循环LDPC码的构造方法。
2012-02-03 cs.IT math.IT
Source Coding for Quasiarithmetic Penalties
霍夫曼编码找到一个前缀码，该前缀码对于有限数量的项上的给定概率分布最小化平均码字长度。坎贝尔将霍夫曼问题推广到一类问题，其目标不是最小化平均码字长度，而是最小化称为拟算术或拟线性平均的广义平均值。这样的一般化装置具有许多不同的应用，包括在装配中的应用。几个拟算术平均值问题在广义熵的意义下有新的简单冗余界。一个相关的性质涉及到最佳代码的存在：对于“良好的”成本函数，最佳代码总是存在于具有有限广义熵的（可能是无限字母表）源。解决这些问题的有限实例是通过推广的算法，找到长度有限的二进制代码的一个新的算法，找到最佳的二进制代码的任何quasiarithmetic平均凸成本函数。该算法可以使用二次时间和线性空间来执行，并且可以扩展到其他罚函数，其中一些罚函数可以以类似的空间和时间复杂度来求解，而其他罚函数可以以稍微更大的复杂度来求解。这降低了队列中涉及最小延迟的问题的计算复杂性，允许优化先前考虑的问题的组合，并且极大地扩展了在二次时间和线性空间中可解的问题的空间。该算法可以被扩展用于诸如打破可能不同的最佳代码之间的联系的目的，如底部合并霍夫曼编码。
2006-05-22 cs.DS cs.IT math.IT
Improved Redundancy Bounds for Exponential Objectives
我们提出了新的下限和上限的压缩率的二进制前缀码优化无记忆源根据两个相关的指数码字长度的目标。这里探讨的目标是指数平均长度和指数平均冗余。第一个问题涉及到各种各样的问题，包括延迟、不确定性和无损通信，它可以简化为第二个问题，后者具有更易于分析的性质。这些界限，其中一些是紧的，是在熵的形式和/或输入符号的概率，改善最近发现的类似形式的界限。我们还观察性能的指数平均冗余效用的最佳代码。
2011-05-01 cs.IT math.IT
Kesten-McKay law for random subensembles of Paley equiangular tight frames
我们应用矩量法证明了Haikin，Zamir和Gavish（2017）关于Paley等角紧框架随机子系综奇异值分布的最近猜想。我们的分析更普遍地适用于冗余2的实等角紧框架，我们怀疑类似的想法最终会产生更普遍的结果，任意选择的冗余。
2019-05-10 cs.IT math.CO math.IT
Universal Compression of Envelope Classes: Tight Characterization via Poisson Sampling
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加州大学圣地亚哥分校）
泊松采样技术消除了随机序列中符号外观之间的依赖性。它已被用来简化分析和加强随机算法的性能保证。将这种方法应用于通用压缩，我们将固定长度和泊松采样序列的冗余度联系起来，利用这种关系推导出一个简单的单字母公式，该公式将任何包络类的冗余度近似到一个加性对数项内。作为第一个应用，我们考虑i.i.d.分布在一个小的字母作为一个步骤包络类，并提供了一个简短的证明，确定冗余的离散分布在一个小的字母表的一阶项。然后，我们展示了我们的方法的力量，通过应用该公式来收紧现有的指数和幂律类的冗余界限，特别是回答Boucheron，Garivier和Gassiat提出的问题。
2014-05-29 cs.IT cs.LG math.IT
On the Redundancy of Function-Correcting Codes over Finite Fields
本文研究了有限域上函数纠错码（FCCs）的最优冗余，推导了与已知下界相差对数因子的上界，证明该下界适用于任意有限域且在足够大的域上是紧的，并构造了实现最优冗余的编码方案。
2025-07-13 cs.IT math.IT
On redundancy of memoryless sources over countable alphabets
描述一个随机变量所需的最小平均比特数是它的熵，假设知道潜在的统计信息。另一方面，通用压缩假设随机变量的分布，虽然未知，但属于一个已知的分布集$\cal P$。随机变量的这种通用描述对于$\cal P$中的分布的同一性是不可知的。但是因为它们与随机变量的基本分布不完全匹配，所以它们使用的平均比特数更高，超过熵的部分就是“冗余”。这个公式不仅是压缩问题的基础，也是估计和预测问题的基础，并且具有从语言建模到保险的各种应用。在本文中，我们研究了由独立同分布（iid）抽样从一个集合$\cal P$分布在可数支持上的字符串的通用编码的冗余。我们首先表明，如果描述一个单一的样本从$\cal P$招致有限的冗余，那么$\cal P$是紧的，但反过来并不总是成立。如果单个样本可以用有限的最坏情况遗憾（比上述冗余更严格的公式）来描述，则已知长度为$n$ id的样本仅在$n$增加时引起每个符号的（在$n$中）冗余减少。然而，我们表明，它是可能的，一个集合$\cal P$招致有限的冗余，但长度- $n$ iid样本的描述招致每个符号编码的恒定冗余。然后，我们展示了$\cal P$上的一个充分条件，使得长度为$n$ iid的样本将导致每个编码符号的冗余减少。
2014-03-31 cs.IT math.IT
Bounds on Codes Correcting Tandem and Palindromic Duplications
在这项工作中，我们推导出上界的基数串联重复和回文删除纠正码推导出广义球包装界这些错误类型。我们首先证明串联缺失的上限也是插入相应类型重复的上限。因此，我们根据这些特殊的删除推导出边界，因为这会导致更严格的边界。我们确定串联和回文重复/删除的球体和具有特定球体大小的单词的数量。我们的基数上界直接意味着下界的冗余，我们比较最知名的建设纠正任意突发错误的冗余。我们的研究结果表明，回文重复的校正需要更多的冗余比串联重复的校正。此外，在复制校正码和突发插入校正码的最小冗余之间存在显著的差距。
2018-01-16 cs.IT math.IT
Duplication-Correcting Codes
在这项工作中，我们提出了正确的重复多个连续的符号的结构。这些错误被称为串联重复，其中一个符号序列重复;分别作为回文重复，其中一个序列以相反的顺序重复。我们比较这些建设的冗余代码大小上限，从球包装参数。证明串联删除的代码基数的上限也是插入串联重复的上限，我们推导出基于这种特殊的串联删除错误的界限，因为这会导致更严格的界限。我们对基数的上界直接暗示了冗余度的下界，我们将其与纠正任意突发插入的最著名构造的冗余度进行比较。我们的研究结果表明，回文重复的校正需要更多的冗余比串联重复的校正，都显着低于任意突发插入。
2017-12-24 cs.IT math.IT
Incremental Redundancy With ACK/NACK Feedback at a Few Optimal Decoding Times
具有ACK/NACK反馈的增量冗余产生受限于具有$m$解码时间的可变长度停止反馈（VLSF）码，其中在每个解码时间向发射机反馈ACK/NACK。本文主要研究了随机VLSF码在二进制输入加性高斯白噪声信道、二进制对称信道和二进制擦除信道（BEC）下的最大可达速率与$m$的关系。利用Edgeworth和Petrov展开，我们开发了长度- $n$累积信息密度的尾部概率的紧密近似，对于任何块长度$n$都是准确的。我们减少Yavas等人。的非渐近可扩展性界的VLSF码与$m$解码时间的整数规划的最小化上界的平均块长度的平均错误概率，最小间隙，和整数约束。我们开发了两种不同的方法来解决这个问题。数值计算表明，Polyanskiy的可扩展性界VLSF码，假设$m = \infty$，可以接近一个小的$m$的所有三个通道。对于BEC，我们考虑随机线性喷泉编码的系统传输。这使我们能够获得一个新的可扩展性界强于以前的界和新的VLSF码，其速率进一步优于Polyanskiy的界。
2023-02-05 cs.IT math.IT
Infinite-Alphabet Prefix Codes Optimal for $β$-Exponential Penalties
设$P = \{p(i)\}$是非负整数集上严格正概率的测度。虽然输入的可计数数目阻止了霍夫曼算法的使用，但是存在非平凡的$P$，对于这些非平凡的$P$，已知方法找到在最小化期望码字长度的意义上最优的源代码。然而，对于某些应用，源代码应该改为最小化非线性目标函数族中的一个，$β$ -指数平均值，形式为$\log_a \sum_i p(i) a^{n(i)}$的那些，其中$n(i)$是第$i$码字的长度，并且$a$是正常数。这种最小化的应用包括最大化单次通信（$a<1$）中消息接收的机会的问题和最小化嵌入系统（$a>1$）中缓冲器溢出的机会的问题。本文介绍的方法，寻找最佳的指数平均值的代码。一种方法适用于几何分布，而另一种方法适用于尾部较轻的分布。后一种算法适用于泊松分布。两者都被扩展到最大限度地减少逐点冗余。
2007-04-17 cs.DS cs.IT math.IT
On Function-Correcting Codes
本文利用函数纠错码的图表示推导其所需冗余的下界，证明该界对单纠错码优于已有结果，并进一步分析线性函数下图结构以简化界限和揭示陪集编码的等价低维纠错问题。
2025-05-28 cs.IT math.IT
Bounds for Learning Lossless Source Coding
University of Hawaii, Manoa（夏威夷大学马诺阿分校）
本文提出了一个基本问题：需要多少训练才能击败通用源代码编码器？传统上，有两种类型的源代码编码器：固定的，最佳的编码器，如霍夫曼编码器;和通用的源代码编码器，如Lempel-Ziv本文认为第三种类型的源代码编码器：学习编码器。这些编码器在特定类型的数据上进行训练，然后用于编码该类型的新数据。这是一种编码器，最近在（有损）图像和视频编码中变得非常流行。本文考虑两个标准的学习编码器的性能：训练数据的平均性能，并保证在所有的训练，除了一些错误概率$P_e$的性能。在这两种情况下，编码器的冗余度进行评估。本文考虑了IID二元情形和二元马尔可夫链。在这两种情况下，它表明，所需的训练数据量是非常温和的：编码序列的长度$l$的训练数据量需要击败通用源编码器是$m=K\frac{l}{\log l}$，其中常数在前面取决于所考虑的情况。
2020-09-18 cs.IT cs.LG math.IT
Speeding up the AIFV-$2$ dynamic programs by two orders of magnitude using Range Minimum Queries
AIFV- $2$码是一种新的无记忆信源无损编码方法，它比Huffman码提供更好的最坏情况冗余。它们通过使用两个代码树而不是一个代码树来实现这一点，并且还允许解码过程中有一定的有限延迟。用于构造AIFV码的已知算法是迭代的;在每一步中，它们用“更好”的码树对替换当前码树对。用于执行该替换的现有技术是一对动态规划（DP）算法，其使用$O(n^5)$时间来填充两个表，每个表的大小为$O(n^3)$（其中$n$是源中不同字符的数目）。本文介绍了如何将填写DP表的时间减少两个数量级，减少到$O(n^3)$。它通过引入一种分组技术来实现这一点，该技术允许将$Θ(n^3)$空间表分成$Θ(n)$组，每组的大小为$O(n^2)$，然后使用二维最小范围搜索（RMQ）在$O(n^2)$时间内填充该组的表条目。这种RMQ加速技术似乎是新的，可能是独立的利益。
2020-02-23 cs.DS cs.IT math.IT
Optimal Prefix Codes for Infinite Alphabets with Nonlinear Costs
设$P = \{p(i)\}$是非负整数集上严格正概率的测度。虽然输入的可计数数目阻止了霍夫曼算法的使用，但是存在非平凡的$P$，对于这些非平凡的$P$，已知方法找到在最小化期望码字长度的意义上最优的源代码。然而，对于某些应用，源代码应该改为最小化非线性目标函数族中的一个，$β$ -指数平均值，形式为$\log_a \sum_i p(i) a^{n(i)}$的那些，其中$n(i)$是第$i$码字的长度，并且$a$是正常数。这种最小化的应用包括使单次通信（$a<1$）中消息接收的机会最大化的新问题和使缓冲器溢出的机会最小化的先前已知的问题（$a>1$）。本文介绍的方法，寻找最佳的指数平均值的代码。一种方法适用于几何分布，而另一种方法适用于尾部较轻的分布。后者的算法适用于泊松分布，都扩展到字母码，以及最大限度地减少逐点冗余。还考虑了最小化缓冲区溢出机会的上述应用。
2007-11-26 cs.DS cs.IT math.IT
The Performance of PCM Quantization Under Tight Frame Representations
Michigan State University（密歇根州立大学）；Academy of Mathematics and System Sciences, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文研究线性量化规则的PCM方案在量化有限单位范数紧框架展开时的性能，证明对于均匀框架路径导出的单位范数紧框架，量化误差有O(δ^{3/2})的上界，并指出与Sigma-Delta量化不同，PCM量化误差一般不会随框架冗余增加而趋于零。
2011-03-20 cs.IT cs.NA math.FA
Systematic DFT Frames: Principle and Eigenvalues Structure
受最近大量需要一定冗余度的应用的启发，帧正在成为信号处理工具箱中的标准工具。在本文中，我们研究了一类特定的框架，称为离散傅立叶变换（DFT）码，并介绍了这类系统框架的概念。这是通过在使用DFT码的分布式信源编码中应用系统DFT码来鼓励的，DFT码是帧的新应用。研究他们的极端特征值，我们表明，不同于DFT框架，系统的DFT框架不一定是紧的。然后，我们提出了这些框架可以是紧的条件。在任何一种情况下，最好和最坏的系统框架建立从重建误差的角度来看。DFT框架的特征值及其子帧在这项工作中起着关键作用。
2012-05-22 cs.IT math.IT
Sequential prediction under log-loss with side information
研究了对数损失下带序贯边信息的在线预测问题，给出了预测器的极大极小后悔的一般上界和下界。通过对泛压缩下混合概率分配的启发，给出并分析了极大极小遗憾的上界，并利用冗余容量定理得到了极大极小遗憾的下界.遗憾的严格表征是在一些特殊的设置。
2021-02-13 cs.IT math.IT
A Converse for Fault-tolerant Quantum Computation
该研究通过关联容错量子计算与有限块长量子通信问题，推导了含酉算子的大类操作ε-精度实现的冗余度下界，在亚指数深度等场景下更紧，还严格缩小了非退化噪声阈值上界并可推广至非独立同分布噪声情形。
2023-08-09 cs.IT math.IT quant-ph
Analysis and Practice of Uniquely Decodable One-to-One Code
在本文中，我们考虑了所谓的唯一可解码的一对一码（UDOOC），这是通过插入一个“逗号”的指示符，称为唯一字（UW），连续的一对一的码字之间的分离。沿着这个研究方向，我们首先研究了UDOOC的几个一般组合性质，特别是对于任何（有限）码字长度的UDOOC码字的数量的枚举。基于所获得的关于给定UW的长度为n的码字的数量的公式，可以计算用于给定源统计的最佳压缩的UDOOC的每个字母的平均码字长度。接下来建立这种UDOOC的平均码字长度的若干上界。对平均码字长度的界的分析，然后导致两个渐近界的源具有无穷多个字母，其中一个是可实现的，因此紧对于一定的源统计和UW，和另一个证明了源熵率的可扩展性的UDOOC压缩的源字母的块大小和UW长度都趋于无穷大。文中还给出了有效的UDOOC编解码算法。数值结果表明，在相似的译码复杂度下，UDOOC具有与Huffman码相当的压缩率，且平均码字长度小于Lempel-Ziv码，从而验证了UDOOC的实用性.
2015-08-30 cs.IT math.IT
On the Locality of Codeword Symbols
考虑线性[n，k，d]_q码C.我们说C的第i个坐标具有局部性r，如果这个坐标处的值可以从访问C的其他r个坐标中恢复。数据存储应用需要具有小冗余、信息坐标的低局部性、大距离和奇偶坐标的低局部性的代码。在本文中，我们进行了深入的研究，这些参数之间的关系。我们建立了一个紧界的冗余n-k的消息长度，距离和信息坐标的局部性。我们把达到这个界限的码称为最优码。我们证明了一些结构定理的最佳码，这是特别强的小距离。这给出了码字长度、最坏情况距离和信息符号的局部性之间的权衡的相当完整的画面。然后，我们考虑的地方奇偶检验符号和擦除校正超过最坏情况的距离为最佳的代码。使用我们的结构定理，我们得到了一个紧界的奇偶校验符号可能在这样的代码的一个广泛的类的参数设置的地方。我们证明，有一个良好的局部性之间的权衡奇偶检验和纠正擦除超过最小距离的能力。
2011-06-18 cs.CC cs.DM cs.IT
Optimal Conversion Bandwidth for MDS Convertible Codes in the Split Regime with $r^F<k^F<r^I$
School of Cyber Science and Technology, Shandong University（山东大学网络空间安全学院）
针对分裂机制下MDS可转换码在r^F<k^F<r^I参数范围的带宽成本，建立新的秩不等式并推导出由三种情况组成的紧致下界，通过三种显式构造证明其最优性。
2026-10-07 cs.IT math.IT
Tight Lower Bounds on the Bandwidth Cost of MDS Convertible Codes in the Split Regime
本文研究分布式存储系统中系统MDS可转换码在分裂机制下转换带宽成本的基本极限，在无均匀性假设下推导所有参数的紧下界，部分解决相关猜想，拓展了已知结果的适用范围。
2025-11-15 cs.IT math.IT
Generalized Independent Component Analysis Over Finite Alphabets
独立分量分析（ICA）是一种统计方法，用于将可观测的多维随机向量转换为尽可能相互独立的分量。通常ICA框架假设一个模型，根据该模型生成观测值（例如具有加性噪声的线性变换）。有限域上的ICA是ICA的一种特殊情况，其中观测值和独立分量都在有限字母表上。在这项工作中，我们考虑了这个框架的推广，在这个框架中，一个观察向量被分解为它的独立组件（尽可能多），没有事先假设它的生成方式。这种推广也被称为巴洛的最小冗余表示问题，被认为是一个开放的问题。我们提出了几个定理，并表明，这个NP困难的问题可以准确地解决了一个分支定界搜索树算法，或紧密近似的一系列线性问题。我们的贡献为Barlow问题提供了第一个有效且有建设性的解决方案。最小冗余表示（也称为阶乘码）有许多应用，主要在神经网络和深度学习领域。二进制ICA（BICA）也被证明有几个领域的应用，包括医疗诊断，多簇分配，网络断层扫描和互联网资源管理。在这项工作中，我们表明这种配方进一步适用于多学科的信源编码，如预测编码，分布式信源编码和编码的大字母来源。
2015-08-20 cs.IT math.IT
Entropy/Length Profile Bounds for the Conversion of (Non)linear Codes in the Merge Regime
School of Mathematics, Southwest Jiaotong University（西南交通大学数学学院）；Information Coding and Transmission Key Lab of Sichuan Province, CSNMT Int. Coop. Res. Centre (MoST), Southwest Jiaotong University（四川省信息编码与传输重点实验室，西南交通大学中国-瑞典多媒体通信技术联合国际科技合作基地（科技部））
针对合并机制下的非线性码转换，本文提出信息论框架，利用熵/长度轮廓推导任意$(n,M)_q$码的未变符号数上界与读取符号数下界，所得界对线性码退化为广义汉明重量界，且构造实例验证了非线性码下的紧性。
2026-10-14 cs.IT math.IT
Rejection Sampling is Optimal for Relative Entropy Coding
Queen’s University（女王大学）；Imperial College London（帝国理工学院）
本文通过构造环投编码证明拒绝采样在相对熵编码中最优，展示了功能信息作为更紧的下界，并在一般情况下和奇异信道中给出最紧的界。
2026-07-27 cs.IT math.IT
Election Coding for Distributed Learning: Protecting SignSGD against Byzantine Attacks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
大规模分布式学习算法的最新进展已经通过SignSGD实现了通信高效的训练。不幸的是，一个主要的问题仍然困扰着分布式学习：即拜占庭式的失败可能会导致学习精度的严重下降。本文提出了选举编码，一个编码理论框架，以保证拜占庭鲁棒性的SignSGD与多数表决，它使用最少的工人主通信在两个方向。建议的框架探讨了新的信息理论的限制，找到大多数人的意见时，一些工人可能是恶意的，并铺平了道路，实现强大而高效的分布式学习算法。在这个框架下，我们构建了两种类型的显式代码，随机伯努利码和确定性代数码，可以容忍拜占庭攻击与控制量的计算冗余。对于Bernoulli码，我们提供了估计多数意见的错误概率的上界，这为容忍拜占庭攻击的代码设计提供了有用的见解。至于确定性的代码，我们构造了一个明确的代码，完全容忍拜占庭，并提供严格的上/下界上所需的最小计算冗余。最后，通过使用Python和MPI 4py包在Amazon EC2上进行的深度学习实验，证实了建议的编码方案的拜占庭容忍度。
2020-10-24 cs.DC cs.IT cs.LG
Function-Correcting Codes for Linear and Locally Bounded Functions Over a Finite Chain Ring
Indian Institute of Science（印度科学研究所）；Indian Institute of Technology (ISM)（印度技术学院（ISIM））
本文研究了在链环Z_{2^s}上的函数纠错码，针对局部有界函数和线性函数等更广泛的函数类，推导了改进的Plotkin界，并提供了多种显式构造方法。
2026-03-15 cs.IT math.IT
Linear Exact Repair in MDS Array Codes: A General Lower Bound and Its Attainability
Shanghai Fintelli Box Technology Co., Ltd.（上海芬提利盒科技有限公司）；School of Software Engineering, East China Normal University（华东师范大学软件学院）
研究MDS数组码在固定字段大小、冗余度和子包级别下线性精确修复的最小修复带宽和I/O，提出一般下界并证明其在冗余度≥3时可达，针对冗余度2的情况构造达到下界的码。
2026-04-19 cs.DM cs.IT math.IT
Lifted Reed-Solomon Codes and Lifted Multiplicity Codes
提升Reed-Solomon码和多重性码是从$m$变量多项式的特定集合构造的码的类别。这些代码允许高速率代码的设计，可以从许多不相交的集合中恢复每个码字或信息符号。最近，基本的方法已经结合了双变量的情况下，构建提升多重性代码，提升代码的泛化，可以提供进一步的速率提高。我们继续这些代码的研究，首先建立新的下限上的任何数量的变量$m$，提高后的任何$m\ge 4$的已知界限的提升里德-所罗门码的速率。接下来，我们使用这些结果，以提供从多项式在任意数量的变量，提高后的任何$m\ge 3$的已知结果的提升多重性代码的速率和距离的下限。具体来说，我们调查的一个子码的解除多重性代码形成的线性跨度的$m$变量单项式的限制，在$\mathbb{F}_q^m$的任意线是相当于一个低次单变量多项式。当变量数$m$固定且字母表大小$q=2^\ell$较大时，我们发现了这种单项式的分数的紧渐近行为。利用这些结果，我们给出了一个新的显式构造的批码利用提升Reed-Solomon码。对于某些参数制度，这些代码有一个更好的权衡参数比以前已知的批处理代码。此外，我们发现，解除多重性代码有一个更好的权衡冗余和不相交的恢复集的数量为每个码字或信息符号比以前已知的建设，从而提供了最知名的PIR码的一些参数制度。此外，我们提出了一个新的局部自校正算法的提升多重码。
2021-10-11 cs.IT math.IT
