Mismatched Rate-Distortion Theory: Ensembles, Bounds, and General Alphabets
在本文中，我们考虑不匹配的率失真问题，其中的编码是使用一个码本，和编码器选择最小失真码字根据不匹配的失真函数，不同于真正的。对于离散无记忆信源的情况，我们使用多用户编码技术，即叠加编码和删除并行编码，建立可实现的率失真界限。我们研究的例子，这些达到匹配的率失真权衡，但一个标准的合奏与独立的码字未能做到这一点。另一方面，在对比的信道编码对应，我们表明，有结构化的随机码本的情况下，可以执行比他们的非结构化的同行。此外，在适应现有的和上述结果的困难，一般的字母表，我们认为一个更简单的i.i.d.随机编码系综，并建立其可实现的率失真界限一般字母。
2022-12-19 cs.IT math.IT
Polynomial complexity of polar codes for non-binary alphabets, key agreement and Slepian-Wolf coding
我们考虑极性码的无记忆源与边信息，并表明，块长度，建设，编码和解码的复杂性是有界的压缩率和条件熵之间的差距的倒数的多项式。这将Guruswami和Xia最近的结果扩展到稍微更一般的设置，这反过来又可以应用于（1）具有非二进制字母表的源，（2）离散和高斯源的密钥生成，以及（3）Slepian-Wolf编码和多路访问。在这些情况中的每一种情况下，还控制相对于用户数量的复杂度缩放。特别是，我们构建这些多用户信息论问题，实现最佳速率与整体多项式复杂度的编码方案。
2014-05-05 cs.IT math.IT
Universal Weak Variable-Length Source Coding on Countable Infinite Alphabets
基于可数无限字母表上的通用信源编码是不可行的这一事实，本文引入了几乎无损信源编码的概念。类似于Han（IEEE TIT，2000，46，1217-1226）研究的弱可变长度信源编码问题，几乎无损信源编码旨在放松无损逐块假设以允许随着块长度趋于无穷大而渐进地消失的平均每字母失真。在这种设置中，我们一方面表明，香农熵的特点是最小可实现的速率（类似于有限字母表源的情况下），而另一方面，几乎无损的通用信源编码成为可行的有限熵的固定无记忆源与无限字母表的家庭。此外，我们研究了几乎无损普适性的更强概念，该概念要求平均每个字母失真一致收敛到零，其中我们为所谓的包络分布族建立了实现它的充分必要条件。这个条件与强极大极小存在的充分必要条件相同（无损）通用源代码的家庭信封分布。最后，我们表明，一个几乎无损的编码方案提供了更快的收敛速度的（极大极小）冗余相比，众所周知的信息半径开发的无损情况下的代价容忍的非零失真消失为零的块长度的增长。这表明，即使无损的普遍性是可行的，几乎无损的计划可以提供不同的制度上的收敛率（最坏情况下）冗余（最坏情况下）失真。
2021-11-26 cs.IT math.IT
On Universal D-Semifaithful Coding for Memoryless Sources with Infinite Alphabets
本文研究可数无限字母表（$\infty$ -alphabets）上平稳无记忆信源的变长固定失真通用信源编码（或称D-半忠实信源编码）问题。这项工作的主要结果提供了一组充分条件（从弱到强），以获得弱极大极小普适性，强极大极小普适性，以及相应的可实现的收敛率的最坏情况下的冗余的家庭的固定无记忆源的密度是由一个信封功能（或信封家庭）的$\infty$ -字母表。这些结果的一个重要含义是，通用的D-半忠实信源编码是不可行的完整的家庭的固定和无记忆的来源$\infty$ -字母表。为了证明这种不可行性，一个充分条件的不可能性的包络族。有趣的是，它与无损（可变长度）通用信源编码中众所周知的不可能条件相匹配。更一般地说，这项工作提供了一个简单的描述是什么需要实现通用的D-半忠实编码的一个家庭的分布$Λ$。这简化为找到满足两个渐近要求的在不同块长度处的乘积空间的量化的集合-反映固定失真限制：第一个是关于$Λ$的通用量化条件，第二个是$Λ$的消失信息半径（I-半径）条件，这让人想起无损通用信源编码的已知条件。
2021-07-11 cs.DS cs.IT math.IT
Universal channel coding for general output alphabet
针对连续或离散输出字母表，本文提出两类通用信道码，分别实现错误概率指数衰减与 ε-容量及二阶编码速率，并借助 Rényi 相对熵和信息谱方法给出统一分析。
2017-06-30 cs.IT math.IT
Capacity of Sum-networks for Different Message Alphabets
和网络是一个有向无环网络，其中所有终端节点都要求在源节点处观察到的独立信息的“和”。许多特性的研究多单播网络通信问题也持有和网络，由于这两个问题的实例之间的一个已知的减少。我们的主要结果是，不同于多个单播网络，和网络的编码能力是依赖于消息字母表。我们证明了这一点，使用的建设过程中，并表明，选择的消息字母表可以减少编码能力的总和网络从$1$接近$0$。
2015-04-21 cs.IT math.IT
Curves on torus layers and coding for continuous alphabet sources
在本文中，我们考虑的问题，发送一个连续字母离散时间源在AWGN信道。为此目的的良好曲线的设计依赖于球形码的几何性质和$N$维晶格的投影。我们提出了一个建设性的计划的基础上的一组曲线的表面上的一个2N维球体和目前的比较与以前的一些作品。
2012-05-04 cs.IT math.DG math.IT
Information Bottleneck on General Alphabets
我们严格证明了一个信源编码定理，可能被认为是民间传说，一个推广到任意字母表的问题的信息瓶颈方法的动机。对于一般的随机变量$(Y, X)$，我们基本上表明，对于一些$n \in \mathbb{N}$，一个功能$f$的速率限制$\log|f| \le nR$和$I(Y^n; f(X^n)) \ge nS$存在当且仅当有一个随机变量$U$，使马尔可夫链$Y - X - U$举行，$I(U; X) \le R$和$I(U; Y) \ge S$。证明依赖于既定的离散情况下，并展示了一种技术，提升离散编码定理，以任意字母。
2018-05-01 cs.IT math.IT
Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding
现代数据压缩主要基于两种熵编码方法：霍夫曼编码（HC）和算术/距离编码（AC）。前者要快得多，但近似概率为2的幂，通常导致相对较低的压缩率。后者使用几乎精确的概率-很容易接近理论压缩率极限（香农熵），但代价是更大的计算成本。非对称数字系统（ANS）是一种精确熵编码的新方法，它允许结束速度和速率之间的这种权衡：最近的实现[1]提供了比256大小字母表的HC快大约$50\%$的解码，压缩率类似于AC提供的压缩率。这个优点是由于比AC更简单：使用单个自然数作为状态，而不是两个来表示范围。除了简化重正化，它还允许将给定概率分布的整个行为放入一个相对较小的表中：定义熵编码自动机。对于256大小的字母表，这样的表的存储器成本是几个字节。在选择特定表时有很大的自由度-为此目的使用用加密密钥初始化的伪随机数生成器允许同时加密数据。本文还介绍和讨论了这种新的熵编码方法的许多其他变体，这些变体可以为标准AC、大字母范围编码或近似的准算术编码提供直接的替代方案。
2014-01-06 cs.IT math.IT
Separation of source-network coding and channel coding in wireline networks
本文证明了有线网络中信源网络编码与信道编码的分离。对于这项工作的目的，有线网络是任何网络的独立的，无记忆的，点对点的，有限字母表的信道用于传输相关的来源，无论是losslance或受到失真约束。在推导这一结果时，我们还证明了在具有相关源的一般无记忆网络中，无损和零失真重建是等价的，只要每个源的条件熵给定其他源是非零的。此外，我们将分离结果扩展到连续字母表，点对点信道，如加性高斯白噪声（AWGN）信道的情况。
2012-12-18 cs.IT math.IT
Alphabet Size Reduction for Secure Network Coding: A Graph Theoretic Approach
我们考虑一个通信网络中存在窃听器谁可以访问一个子集的通道，称为窃听集，这是从一个给定的收集窃听集选择。窃听集的收集可以是任意的。安全网络编码是为了防止源信息泄露给窃听者。在安全网络编码中，所需的字母表大小是一个开放的问题，不仅在理论上的兴趣，而且具有实际意义，因为它是密切相关的实施，这种编码方案的计算复杂性和存储要求。在本文中，我们开发了一个系统的图论方法，提高蔡和杨的下界所需的字母表大小的存在安全的网络代码。由此得到的新的下界，它只依赖于网络拓扑结构和收集的窃听集，可以显着小于蔡和杨的下界。一个多项式时间算法设计的新的下界的有效计算。
2016-11-28 cs.DM cs.IT math.CO
Pattern Coding Meets Censoring: (almost) Adaptive Coding on Countable Alphabets
自适应编码面临以下问题：给定一个源类集合，使得集合中的每个类都具有非平凡的极大极小冗余率，我们能否设计一个对集合中的每个类都渐近极大极小的编码？特别是，当集合中的类的联合上没有通用代码时，自适应编码是有意义的。在本文中，我们处理类源在一个无限的字母表，其特征在于由一个控制包络。我们提供了渐近等价的冗余信封类享受定期变化的属性。最后，我们构建了一个计算效率高的在线前缀码，交织的编码的所谓的模式的消息和编码的字典中发现的符号。该代码被证明是自适应的，在一个$\log\log n$的因素，定期变化的信封类的集合。该代码比前面描述的竞争者更简单，冗余更少。与以前的尝试相比，它还涵盖了缓慢变化的包络类的全部范围。
2016-09-01 cs.IT math.IT math.ST
The Undecidability of Network Coding with some Fixed-Size Messages and Edges
我们考虑一个网络编码设置，其中一些消息和边缘具有固定的字母表大小，当我们增加其余消息和边缘的公共字母表大小时，这些字母表大小不会改变。我们证明了决定这样的网络是否接受编码方案的问题是不可判定的。这可以被认为是对网络编码（没有固定大小的消息/边）是不可判定的猜想的部分解决方案。证明，这使得大量使用类比与数字电路，基本上是构建一个数字电路的逻辑门和触发器的网络编码模型，能够模拟任意的图灵机。
2022-02-10 cs.IT math.IT
Capacity and Achievable Rate Regions for Linear Network Coding over Ring Alphabets
网络码的速率是网络消息的块大小与其边缘码字的块大小之比。我们比较了网络的线性容量和可达速率区域使用有限域字母表的任意环和模块字母表的更一般的情况下。对于非交换环，允许双边线性。具体地说，我们证明了以下有向无环网络：（i）有限域上任何网络的线性速率区域和线性容量仅取决于域的特征。此外，任何两个具有不同特征的场对至少一个网络产生不同的线性容量。(ii)当一个给定的有限域的特征除以一个给定的有限环的大小时，每个网络在该环上的线性速率区域包含在该域上的线性速率区域中。因此，任何网络在域上的线性容量至少是它在任何其他相同大小的环上的线性容量。一个类似的结果也适用于模字母表上的线性网络码。(iii)当一个给定的有限域的特征不整除一个给定的有限环的大小时，就有一个网络，它在环上的线性容量严格大于它在域上的线性容量。因此，对于任何有限域，总是存在环，在这些环上，某些网络具有比域上更高的线性容量。
2018-01-29 cs.IT math.IT
Vector Network Coding Based on Subspace Codes Outperforms Scalar Linear Network Coding
本文考虑了基于秩度量码和子空间码的矢量网络编码方案。本文的主要结果是，向量的解决方案可以显着减少所需的字母表的大小相比，最佳的标量线性解决方案相同的组播网络。本文考虑的组播网络有一个源与$h$消息，和向量的解决方案是在一个域的大小为$q$与向量的长度为~ $t$。对于一个给定的网络，设网络具有标量线性解的最小域大小为$q_s$，则向量解和标量线性解之间的字母表大小的间隙定义为$q_s-q^t$。在该贡献中，对于任何$q \geq 2$和任何偶数$h \geq 4$，实现的间隙是$q^{(h-2)t^2/h + o(t)}$。如果$h \geq 5$是奇数，则实现的字母表大小的间隙是$q^{(h-3)t^2/(h-1) + o(t)}$。以前，对于具有非常大量消息的网络，仅显示大小为1的间隙。这些结果意味着最佳标量线性和一些标量非线性网络编码解之间的字母大小的差距相同的组播网络。对于三个消息，我们还展示了矢量网络编码的优势，而对于两个消息，问题仍然是开放的。几个网络被认为是，他们都是众所周知的组合网络的推广和修改。用作这些网络的解决方案的矢量网络码基于子空间码，特别是从秩度量码获得的子空间码。其中一些码形成了新的子空间码族，这就提出了一个新的研究问题。
2018-01-14 cs.IT math.IT
Joint Source-Channel Coding on a Multiple Access Channel with Side Information
我们考虑多个分布式相关源在多址接入信道（MAC）的源和解码器的边信息的传输问题。源-通道分离不适用于此通道。给出了具有给定畸变的信源传输的充分条件。源和/或信道可以具有连续的字母表（因此高斯源和高斯MAC是特殊情况）。作为特例得到了以前的各种结果。本文还提出了几种适用于离散信源和离散/连续字母信道的信源-信道编码联合方案。
2009-04-26 cs.IT math.IT
Compressing Multisets with Large Alphabets using Bits-Back Coding
Meta AI；University of Toronto（多伦多大学）；Vector Institute for AI（向量人工智能研究所）；University of Amsterdam（阿姆斯特丹大学）
当前以最佳速率压缩多集合的方法具有与字母表大小线性缩放的计算复杂性，使得它们在许多现实世界设置中太慢而不实用。我们将展示如何将序列的压缩算法转换为一个多集，以换取一个额外的复杂性，是准线性的序列长度。这使我们能够以最佳速率压缩多组可交换符号，同时计算复杂性与字母表大小解耦。关键的见解是避免直接编码多集，而是压缩代理序列，使用一种称为“位回编码”的技术。我们证明了实验上的任务，这是棘手的最优速率的方法：压缩多组图像和JavaScript对象表示法（JSON）文件的方法。我们的实验代码可以在https://github.com/facebookresearch/multiset-compression上找到。
2023-02-27 cs.IT cs.LG eess.SP
Optimal Age over Erasure Channels
以前的作品年龄的信息和擦除通道处理特定的模型和计算的平均年龄或平均峰值年龄为某些设置。在本文中，给定一个源，产生一个字母，每$T_s$秒和一个擦除通道，可以使用每$T_c$秒，我们问什么是编码策略，最大限度地减少时间平均年龄的信息，观察员的信道输出招致。我们首先分析的情况下，源字母和通道输入字母具有相同的大小。我们证明了一个平凡的编码策略是最佳的，可以推导出一个封闭的形式的年龄表达式。然后，我们分析的情况下，字母有不同的大小。我们使用一个随机编码参数绑定的平均年龄和使用随机码实现的平均年龄收敛到线性分组码的最佳平均年龄的源字母表变得大。
2021-10-20 cs.IT math.IT
Generalized Independent Component Analysis Over Finite Alphabets
独立分量分析（ICA）是一种统计方法，用于将可观测的多维随机向量转换为尽可能相互独立的分量。通常ICA框架假设一个模型，根据该模型生成观测值（例如具有加性噪声的线性变换）。有限域上的ICA是ICA的一种特殊情况，其中观测值和独立分量都在有限字母表上。在这项工作中，我们考虑了这个框架的推广，在这个框架中，一个观察向量被分解为它的独立组件（尽可能多），没有事先假设它的生成方式。这种推广也被称为巴洛的最小冗余表示问题，被认为是一个开放的问题。我们提出了几个定理，并表明，这个NP困难的问题可以准确地解决了一个分支定界搜索树算法，或紧密近似的一系列线性问题。我们的贡献为Barlow问题提供了第一个有效且有建设性的解决方案。最小冗余表示（也称为阶乘码）有许多应用，主要在神经网络和深度学习领域。二进制ICA（BICA）也被证明有几个领域的应用，包括医疗诊断，多簇分配，网络断层扫描和互联网资源管理。在这项工作中，我们表明这种配方进一步适用于多学科的信源编码，如预测编码，分布式信源编码和编码的大字母来源。
2015-08-20 cs.IT math.IT
Abelian Group Codes for Source Coding and Channel Coding
本文研究了任意离散（有限字母表）无记忆信源的有损信源编码问题以及任意离散（有限字母表）无记忆信道的信道编码问题的阿贝尔群码的渐近性能。对于信源编码问题，我们推导出一个可实现的率失真函数，其特征在于在一个单字母的信息理论的形式使用阿贝尔群码的合奏。当底层群是场时，它简化为对称率失真函数。同样，对于信道编码问题，我们发现了一个可实现的速率，其特征在于在一个单字母的信息理论的形式使用组码。当底层组是字段时，这简化为通道的对称容量。我们计算率失真函数和可实现的速率为几个例子的来源和渠道。由于所考虑的源和通道的非对称性，我们的分析使用了信息论和群论工具的协同作用。
2013-05-07 cs.IT math.IT
More Efficient Algorithms and Analyses for Unequal Letter Cost Prefix-Free Coding
有大量的文献致力于寻找一个最佳的（最小成本）前缀免费代码与不等的字母成本编码字母表的大小的问题。虽然没有已知的多项式时间算法来最优地解决它，但有许多好的算法都提供了最优的附加误差。这些算法中的附加误差通常与最大编码字母大小成线性关系。本文的动机是寻找最佳的代码时，编码字母表是无限的问题。由于最大的字母成本是无限的，前面的分析可能会给出无限的误差界。我们提供了一个新的算法，工程与无限的编码字母。当限制到有限字母表的情况下，我们的算法往往提供更好的误差界比以前已知的最好的。
2007-05-03 cs.DS cs.IT math.IT
Joint fixed-rate universal lossy coding and identification of continuous-alphabet memoryless sources
在连续字母表无记忆信源的固定速率有损编码环境下，考虑了联合通用信源编码和识别问题。对于一类广泛的有界失真测度，证明了任何紧参数化的$\R^d$ -值i.i.d.源的绝对连续分布，满足适当的平滑度和Vapnik-Chervonenkis学习条件，承认一个联合计划的通用有损块编码和参数估计，这样，当块长度$n$趋于无穷大，开销每字母率和失真冗余收敛到零，分别为$O(n^{-1}\log n)$和$O(\sqrt{n^{-1}\log n})$。此外，有源源可以在解码器处被确定为半径为$O(\sqrt{n^{-1} \log n})$的球，在变距离中，渐近地几乎肯定。该系统具有有限的内存长度等于块的长度，并可以被认为是一个时不变的非线性滤波器的块的应用程序与初始条件确定从前一个块。与现有的几个通用矢量量化方案，其中不包括参数估计明确的比较，并概述了无限失真措施的扩展。最后，有限的混合类和指数家庭的参数源承认联合通用的压缩和建模方案的研究在这里给出明确的例子。
2007-05-17 cs.IT cs.LG math.IT
Joint universal lossy coding and identification of stationary mixing sources with general alphabets
Beckman Institute for Advanced Science and Technology, University of Illinois（伊利诺伊大学贝克曼先进科学技术研究所）；Duke University（杜克大学）
我们考虑的问题，联合通用可变速率有损编码和识别的参数类的固定$β$混合源一般（波兰）字母。压缩性能是衡量的拉格朗日，而识别性能是衡量的变化之间的距离真实源和估计源。假设源以足够快的速率混合并满足一定的平滑性和Vapnik-Chervonenkis可学习性条件，则对于有界度量失真，存在用于联合有损压缩和识别的通用方案，其拉格朗日冗余收敛到零，如块长度$n$趋于无穷大时的$\sqrt{V_n \log n /n}$，其中$V_n$是由源的$n$维边缘分布定义的某类决策区域的Vapnik-Chervonenkis维数;此外，对于每个$n$，解码器可以识别活动源的$n$维边缘，直到在变距离中的半径为$O(\sqrt{V_n\log n/n})$的球，最终概率为1。结果补充了几个例子的参数源满足正则性条件。
2009-01-13 cs.IT cs.LG math.IT
Linear Network Coding for Two-Unicast-$Z$ Networks: A Commutative Algebraic Perspective and Fundamental Limits
我们考虑一个两个单播- $Z$网络的有向无环图的单位容量限制的边缘;两个单播- $Z$网络是一个特殊的情况下，两个单播网络的目的地之一具有先验的边信息的不想要的（干扰）的消息。本文通过证明广义网络共享界并不严格，向量线性码优于标量线性码，非线性码优于线性码，解决了两个单播- $Z$网络的网络编码极限问题.我们还开发了一个交换代数方法来推导线性网络编码的可扩展性结果，并通过对C. Wang et.例如，I. Wang et.和Shenvi et.关于速率$(1,1)$在网络中的可行性。
2018-05-25 cs.IT math.IT
Information-Theoretic Viewpoints on Optimal Causal Coding-Decoding Problems
在本文中，我们考虑一个相互作用的两个代理顺序决策问题，由一个马尔可夫源过程，因果编码反馈，因果解码器。出于希望促进控制和信息论之间的联系，我们增加了标准的制定考虑一般字母和成本函数的操作当前和以前的符号。使用动态规划，我们提供了一个结构性的结果，从而存在一个最佳方案，适当的充分的统计数据。我们强调一个例子，其中解码器字母表位于源字母表上的信念空间中，并且附加成本函数是与顺序信息增益有关的对数似然比。我们还考虑逆最优控制问题，其中一个固定的编码器/解码器对满足统计条件被证明是最佳的一些成本函数，使用概率匹配。我们提供的例子，这个框架的适用性与反馈，隐马尔可夫模型和非线性滤波器，分散控制，脑机接口，排队论的通信。
2011-02-01 cs.IT math.IT
Fast Codes for Large Alphabets
我们解决的问题，构建一个快速的无损代码的情况下，当源字母表是大的。新方案的主要思想可以描述如下。我们将概率较小的字母分组为子集（充当超级字母），并仅对这些子集使用耗时的编码，而子集中的字母具有相同的代码长度，因此可以快速编码。所描述的方案可以应用于具有已知和未知统计量的源。
2005-04-03 cs.IT math.IT
Reinforcement Learning Evaluation and Solution for the Feedback Capacity of the Ising Channel with Large Alphabet
提出了一种利用强化学习（RL）计算单股有限状态信道反馈容量的新方法。反馈能力是以前估计使用其配方作为一个马尔可夫决策过程（MDP）与动态规划（DP）算法。然而，它们的计算复杂性随着信道字母表的大小呈指数增长。因此，我们使用RL，特别是它的能力，参数化价值函数和政策与神经网络，数字评估的反馈能力的信道具有较大的字母大小。RL算法的结果是反馈能力的数值下界，其用于揭示最优解的结构。该结构由一个基于图的辅助随机变量来建模，该辅助随机变量被用来推导具有对偶界的反馈容量的解析上界。容量计算的结论是通过测试是否是BCJR不变的上限验证的紧密性。我们证明了这种方法的伊辛通道与任意字母大小。对于小于或等于8的字母表大小，我们推导出容量的解析解。接下来，数值解的结构被用来推导出一个简单的编码方案，实现了反馈能力，并作为一个更大的字母的下限。对于大于8的字母表大小，我们提出了一个上界的反馈能力。对于一个渐近大的字母大小，我们提出了一个渐近最优编码方案。
2020-08-18 cs.IT math.IT
Signal Design for AF Relay Systems using Superposition Coding and Finite-Alphabet Inputs
研究了高斯放大转发（AF）中继系统中的信号设计问题，在中继端采用叠加编码（SC），使得信源和中继在两个时隙内传输各自的信息。在源端和中继端采用实用的正交幅度调制（QAM）星座。为了提高系统的误码性能，我们优化的权重系数采用在源和中继，以最大限度地提高接收复合星座的最小欧氏距离，受到各自的平均功率约束。所制定的优化问题是一个混合的连续-离散的，是非平凡的解决一般。通过诉诸打孔Farey序列，我们设法获得最佳的解决方案，制定的问题，首先划分成一个有限数量的子区间的整个可行区域，然后采取最大的所有可能的子区间。仿真结果表明，我们所提出的设计基于SC优于使用传统的时分多址接入（TDMA）的性能。
2019-12-17 cs.IT eess.SP math.IT
Efficient Interactive Coding Achieving Optimal Error Resilience Over the Binary Channel
给定计算Alice和Bob的私有输入$x, y$的函数$f(x, y)$的无噪声协议$π_0$，交互式编码的目标是构造计算$f$的错误弹性协议$π$，使得即使通信的某部分被对抗性地破坏，双方仍然学习$f(x, y)$。理想情况下，所得到的方案$π$应该是正速率的、计算高效的，并且实现最佳的差错恢复。虽然在大字母表上的交互式编码是很好理解的，但在二进制字母表上的情况仍然是模糊的。目前，在二进制字母表上实现比大字母表方案的平凡适应更高的差错恢复能力的已知方案仍然是次优差错恢复能力[EKS 20]，或者是具有指数通信复杂性的最优差错恢复能力[GZ 22]。在这项工作中，我们构建了一个计划，实现最优的所有三个参数：我们的协议是积极的速率，计算效率高，弹性最佳的$\frac16 - ε$对抗错误。我们的协议采用了一种新型的代码，我们称之为分层代码，这可能是独立的利益。像树代码一样，分层代码允许编码器以在线方式编码消息，但定义在图上而不是树上。
2022-07-03 cs.DS cs.IT math.IT
On Multi-Channel Huffman Codes for Asymmetric-Alphabet Channels
零误差单通道信源编码在过去的几十年里得到了广泛的研究。然而，其自然的多通道推广没有得到很好的研究。虽然十年前研究了具有多个字母表信道的特殊情况，但是在这种设置中的码在数据压缩方面没有单信道码的优势，使得它们在大多数应用中毫无价值。在本文中，我们打破了僵局，表明它是可能的，以击败单通道源代码在压缩假设不对称字母表通道。本文对单通道信源编码中的几个经典结果进行了多通道模拟，如多通道Huffman码是最优树可译码码。我们还展示了一些证据，找到一个有效的多通道霍夫曼码的建设可能是困难的。然而，我们提出了一个次优的代码结构，其冗余度保证不大于最佳的单通道源代码。
2021-05-08 cs.IT math.IT
Coding for Two-User SISO and MIMO Multiple Access Channels
本文计算了有限复数输入字母和连续输出的两用户SISO高斯多址接入信道（GMAC）的星座约束（CC）容量域。当两个用户使用相同的代码字母表时，众所周知，字母表之间的适当旋转为接收机提供了唯一的可解码性。对于这样的设置，提出了一种度量来计算字母之间的旋转角度，使得CC容量区域被最大地放大。随后，基于网格编码调制（TCM）的代码设计的两个用户的GMAC与$M$-PSK和$M$-PAM字母对的$M$的任意值，它被证明，对于一定的旋转角度，Ungerboeck标签上的每个用户的网格最大化的保证平方欧几里德距离的\textit{sum trellis}。因此，这样的标记方案可以系统地用于构造用于两个用户GMAC的网格码对，以实现接近信道的总容量的总速率。更重要的是，它是第一次示出的ML解码复杂性在目的地显着降低时，$M$-PAM字母对采用\textit{almost}没有损失的总和容量。\indent还考虑了在两个用户处具有$N_{t}$天线并且在目的地处具有单个天线的两个用户多输入多输出（MIMO）衰落MAC，其中假设目的地具有信道状态信息的完全知识并且两个用户仅具有其信道的相位分量的完全知识。对于这样的设置，两个不同的类的空时分组码（STBC）对来自众所周知的类的真正的正交设计提出了这样的STBC对是信息无损的，并具有低ML解码复杂度。
2009-02-09 cs.IT math.IT
Optimal Finite-Length and Asymptotic Index Codes for Five or Fewer Receivers
索引编码模型广播网络，其中发送方同时向不同的接收方发送不同的消息，其中每个接收方可能先验地知道一些消息。目的是找到发送方发送的最小（归一化）索引码长度。本文考虑单播索引编码，其中每个接收器请求恰好一个消息，并且每个消息被恰好一个接收器请求。每个单播索引编码实例可以由有向图完全描述，反之亦然，其中每个顶点对应于一个接收器。对于任何有向图表示一个单播索引编码实例，我们表明，如果一个最大的无环诱导子图（MAIS）是通过从图中删除两个或更少的顶点，那么最小索引codelength等于顶点的MAIS中的数量，和线性码是最佳的相应的索引编码实例。使用这个结果，我们解决了具有多达五个接收器的所有单播索引编码实例，其对应于具有多达五个顶点的所有图。对于9819个不同构的图中的所有图5个顶点，我们得到了所有的消息字母表大小的最小索引codelength;对于其余的28个图，我们得到了最小索引codelength，如果消息字母表的大小是$k^2$的任何正整数$k$。这项工作补充了Arbabjolfaei等人的结果（ISIT 2013），他们解决了所有单播索引编码实例，最多有五个接收器在渐近状态下，其中消息字母表大小趋于无穷大。
2017-09-04 cs.IT math.IT
Capacity Approaching Coding for Low Noise Interactive Quantum Communication, Part I: Large Alphabets
我们考虑在噪声信道上实现两方交互式量子通信的问题，如果我们希望充分获得通信的量子优势，这是一个必要的努力。对于一个任意协议的$n$消息，设计了一个无噪声qudit信道的$\mathrm{poly}(n)$大小的字母表，我们的主要结果是一个模拟方法，失败的概率小于$2^{-Θ(nε)}$，并使用qudit信道在相同的字母表$n\left(1+Θ\left(\sqrtε\right)\right)$倍，其中的一个$ε$分数可以被破坏adversarially。因此，模拟的能力达到领先的顺序，我们推测，它是最佳的$\sqrtε$长期的常数因子。此外，仿真是在一个模型中，不需要预先共享的资源，如通信双方之间的随机性或纠缠。我们的工作改进了以前已知的最好的量子结果，其中开销是非显式的大常数[Escherard等人，FOCS'14]用于低$ε$。
2020-01-09 cs.CC cs.DS cs.IT
On Precision - Redundancy Relation in the Design of Source Coding Algorithms
我们研究了信源概率的有限精度表示对经典信源编码算法（如Shannon、Gilbert-Moore或算术码）效率的影响。特别是，我们建立了以下简单的连接之间的冗余$R$和位数$W$所需的表示源的概率在计算机的内存（$R$被假定为小）：\begin{equation*} W \lesssim η\log_2 \frac{m}{R}, \end{equation*}其中$m$是基数的源的字母表，和$η\leqslant 1$是一个实现特定的常数。在二进制字母表（$m=2$）的情况下，我们表明，存在代码的$η= 1/2$，并在$m$ -ary的情况下（$m > 2$），我们表明，存在代码的$η= m/(m+1)$。然而，在一般情况下（包括依赖于频率计数器的渐进更新的设计），我们表明，$η= 1$。本文还讨论了这些结果对信源编码算法设计的实用性。
2007-12-01 cs.IT math.IT
Network coding with modular lattices
在文献[1]中，Kötter和Kschischang提出了一种新的网络编码中的纠错码模型。该模型中的字母表是给定向量空间的子空间格，码是该格的子集，并且该字母表上的所使用的度量是映射d：（U，V）\longmapsto dim（U + V）- dim（U \bigcap V）。在本文中，我们将这个模型推广到任意模格，即我们考虑代码，这是模块格的子集。在这种一般情况下使用的度量是映射d：（x，y）\longmapsto h（x \bigvee y）- h（x \bigwedge y），其中h是晶格的高度函数。我们把这个模型应用到子模格上。此外，我们展示了一种方法来计算球的大小在某些模块格，并提出了一个球包装界，一个球覆盖界，和单例界的代码，这是模块格的子集。[1]R. Kötter，F.R. Kschischang：Coding for errors and erasures in random network coding，IEEE Trans. Inf. Theory，Vol.54，No.8，2008
2010-09-03 cs.IT math.IT
Minimizing the alphabet size of erasure codes with restricted decoding sets
通过编码函数$C:F^k \rightarrow F^n$定义字母表上的最大距离可分离码$F$，该编码函数允许即使在擦除其符号中的任何$n-k$之后也从码字$C(m)$检索消息$m \in F^k$。对于给定的参数$n$和$k$，一般（非线性）MDS码的最小可能字母表大小是未知的，并且形成编码理论中的中心开放问题之一。本文开始研究的字母表大小的代码在一个广义的设置，其中的编码方案是需要处理一个预先指定的子集的所有可能的擦除模式，自然表示的$n$ -顶点$k$ -均匀超图。我们与这种代码的最小可能的字母大小的超图的强色数和分析的紧密性所获得的界限的线性和非线性设置。我们进一步考虑的问题，允许一个小概率的解码错误的变化。
2020-05-14 cs.IT math.CO math.IT
Enumeration of sequences with large alphabets
本文主要借鉴Öktem & Astola的\cite{Oktem99}分层枚举编码和Schalkwijk的二进制序列上的\cite{Schalkwijk72}渐近最优组合码的思想，研究$σ$-元序列的有效枚举编码方案。通过观察，不同的$σ$ -维向量的数量具有$n$的内部总和，其中每个维度中的值都在范围$[0...n]$是$K(σ,n) = \sum_{i=0}^{σ-1} {{n-1} \choose {σ-1-i}} {σ \choose {i}}$，我们建议通过枚举表示$C$向量，并提出必要的算法来执行这项任务。我们证明$\log K(σ,n)$需要大约$ (σ-1) \log (σ-1) $比天真的$(σ-1)\lceil \log (n+1) \rceil$表示相对较大的$n$较少的位，并检查不同的字母表大小的实验结果。我们扩展的基本计划的枚举编码的$σ$ -ary序列通过引入一个新的方法，为大字母。我们的实验表明，新引入的技术是优于基本方案，通过提供DNA序列上的实验。
2012-11-13 cs.DM cs.DS cs.IT
Expansion Coding for Channel and Source Coding
提出了一种通用的编码扩展方法，该方法可以将模拟信道编码和压缩模拟源的高度非平凡问题简化为一组更简单的子问题，即离散信道编码和压缩离散源。更具体地说，本文的重点是加性指数噪声（AEN）信道，和有损压缩的指数源。利用这些通道（源）的基本可分解属性，建议的扩展方法允许映射这些问题的编码在并行通道（分别，源），其中每个级别被建模为一个独立的编码问题在离散字母表。扩展后的优化问题的任何可行解对应于原始问题的可实现方案。利用这种映射，即使是最佳的解决方案是难以表征的情况下，它示出的扩展编码方案仍然表现良好，适当的参数选择。更具体地说，理论分析和数值结果表明，扩展编码实现了AEN信道的容量在高信噪比制度。对于有损压缩，在低失真区，扩展编码可达到的率失真对接近香农极限。值得注意的是，通过使用最初为离散字母表设计的具有低编码和解码复杂度的容量实现码，例如极化码，所提出的扩展编码方案允许设计低复杂度的模拟信道和源代码。
2015-05-20 cs.IT math.IT
Nonparametric Decentralized Sequential Detection via Universal Source Coding
当原假设下的分布是完全已知的，而备择假设对应于其他未知分布时，我们考虑非参数或泛序贯假设检验问题。这些算法主要是从认知无线电中的频谱感知和无线传感器网络中的入侵检测中得到的。我们使用易于实现的通用无损源代码，提出简单的算法，这样的设置。该算法首次提出了离散字母表。理论上研究了它们的性能和渐近性质。后来这些扩展到连续字母表。它们的性能与两个著名的通用源代码，Lempel-Ziv码和Krichevsky-Trofimov估计与算术编码器进行了比较。这些算法也比较了使用各种其他非参数估计的测试。最后，还提出了一种利用空间分集的分散版本。分析了它的性能，证明了它的渐近性质。
2013-08-29 cs.IT math.IT
On the Coding Capacity of Reverse-Complement and Palindromic Duplication-Correcting Codes
本文研究了能纠正任意数量重复的纠错码，分别针对反向互补重复和回文重复推导编码容量，证明除重复长度为1外容量均为0，并在长度为1时构造了依赖于字母表大小的最优码。
2024-02-19 cs.IT math.IT
Coding for Ordered Composite DNA Sequences
Technion - Israel Institute of Technology（以色列理工学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对DNA存储信息容量提升需求，提出新型复合DNA信道模型，研究二进制下替换与单删除错误的复合序列重构，定义两类纠错码并给出界，还构造了单删除场景的系统码，探讨了信道容量开放问题。
2025-10-30 cs.IT math.IT
Distributed Joint Source-Channel Coding for Functions over a Multiple Access Channel
在本文中，我们提供了相关数据的功能在多址信道（MAC）的有损传输的充分条件。所得的条件可作为Yamamoto结果的推广.我们还获得了有效的联合信源-信道编码方案，用于传输离散和连续字母表信源以恢复函数值。关键词：联合信源-信道编码，图着色，Lipschitz函数，相关信源.
2009-08-09 cs.IT math.IT
Quantum source-channel coding and non-commutative graph theory
Alice和Bob从某个有限集合或某个子空间接收到一个二分态（可能是纠缠态）。爱丽丝通过一个有噪声的量子信道向鲍勃发送一条消息，这样鲍勃就可以确定初始状态，而错误的机会为零。例如，该框架包括隐形传态、密集编码、纠缠辅助的量子信道容量以及函数评估的单向通信复杂性。对于经典的信源和信道，这个问题可以使用图同态来分析。我们表明，这个量子版本可以使用非交换图（图的算子空间推广）上的同态进行分析。以前的Lovász $\vartheta$数已被推广到非交换图，我们表明这是一个同态单调，从而提供量子源信道编码的界限。我们推广了Schrijver和Szegedy数，并证明它们也是单调的。作为应用，我们构造了一个量子信道，其纠缠辅助的零差错单次容量只能通过非最大纠缠态来解锁。这些同态允许非交换图的色数的定义。许多悬而未决的问题提出了一个更充分的理论的可能性。
2015-10-18 cs.IT math.IT quant-ph
Error-Resilient Weakly Constrained Coding via Row-by-Row Coding
针对弱约束码的差错鲁棒性问题，本文在Buzaglo和Siegel提出的可达容量的逐行编码弱约束码构造基础上，提出了使该编码方案具备抗差错能力的方法。
2024-08-14 cs.IT math.IT
On LCP and checkable group codes over finite non-commutative Frobenius rings
本文在有限非交换Frobenius环上证明互补群码对中一个与另一个等价，并将该结论推广到可校验码。
2023-04-13 cs.IT math.IT math.RA
Term Coding: An Entropic Framework for Extremal Combinatorics and the Guessing--Number Sandwich Theorem
Queen Mary University of London（伦敦大学玛丽女王学院）
术语编码通过熵框架解决极值组合学问题，利用猜测数夹逼定理与图熵关联，通过熵和多项式族方法计算最大代码大小。
2026-09-01 cs.IT math.IT
A Practical Coding Scheme for the BSC with Feedback
我们提供了一个实际的实施橡胶方法Ahlswede等人。二进制字母。其思想是通过为特定的$k$阶马尔可夫链设计的算术解码器在其中创建“骨架”序列。对于随机二进制对称信道，我们证明了该方案在一定参数下是强最优的。
2021-02-04 cs.IT math.IT
About Adaptive Coding on Countable Alphabets: Max-Stable Envelope Classes
本文研究可数无限字母表上平稳无记忆信源的无损通用信源编码问题。如果不限制希望具有普遍性的源的类别，这项任务通常是无法实现的。在我们以前的工作的基础上，我们提出了一个共同的主导信封的特点是自然家庭的来源。我们特别强调了自适应性的概念，这是一种能力，以及一个先知知道信封，而不是实际上知道它。这是密切相关的概念，分层通用信源编码，但重要的区别是，家庭的信封类不是离散索引，不一定嵌套。我们的贡献是扩展类的信封，自适应通用信源编码是可能的，即包括最大稳定（重尾）信封，这是优秀的模型，在许多应用中，如自然语言建模。我们推导出一个极大极小下界的冗余任何代码上的信封类，包括一个甲骨文知道信封。然后，我们提出了一个建设性的代码，不使用知识的信封。该代码计算效率高，并被构造为使用{E}扩展{T}阈值进行{A}uto-{C}ensoring，因此我们称之为\textsc{ETAC} -代码。我们证明了\textsc{ETAC} -代码实现的最小最大冗余度的下界内的一个因素对数的序列长度，因此可以作为一个近自适应代码的重尾信封的家庭。对于有限和轻尾包络的惩罚甚至更少，相同的代码密切遵循以前的结果，明确提出了轻尾假设。我们的技术成果是建立在规则变分理论和测量集中的方法之上的。
2015-04-17 cs.IT math.IT math.ST
Polar Codes for Some Multi-terminal Communications Problems
它表明，极化编码方案实现了已知的可实现的速率区域的几个多终端通信问题，包括有损分布式信源编码，多址信道和多描述编码。结果是有效的任意字母大小（二进制或非二进制）和任意分布（对称或不对称）。
2014-04-28 cs.IT math.IT
Rate-Constrained Simulation and Source Coding IID Sources
本文给出了无记忆信源的信源编码和速率受限模拟的渐近最优滑动块或固定码的必要条件，并用于激励网格编码信源编码和速率受限模拟的设计技术。代码结构与经典的随机编码参数以及“假过程”方法和字母表约束方法具有直观的相似性。实验证据表明，该方法提供了可比的或优越的性能与以前公布的方法相比，常见的例子，有时显着的利润率。
2011-02-23 cs.IT math.IT
Index Coding and Error Correction
带边信息的索引编码问题首先由Y. Birk和T. Kol（IEEE INFOCOM，1998年）。在目前的工作中，一个推广的索引编码方案，其中传输的符号受到错误，进行了研究。这种方案的纠错方法，和他们的参数，进行了研究。特别地，讨论了以下问题：给定索引编码方案的边信息超图和错误符号的最大数量$δ$，线性索引码的最短长度是什么，使得每个接收机都能够恢复所需的信息？该问题是经典编码理论中寻找具有一定纠错能力的最短纠错码问题的推广。建立了线性纠错索引码（ECIC）最优长度的Singleton界和另外两个界，分别称为$α$界和$κ$界.对于大的字母表，一个最佳的索引码与MDS经典代码的串联的基础上的建设，示出达到单例界。然而，对于较小的字母，这种构造可能不是最佳的。还分析了随机构造。它给出了最优线性ECIC长度的另一个不明确的界。最后讨论了线性ECIC的译码问题。如果错误向量的权重小于或等于相应ECIC的纠错能力，则示出了伴随式解码输出精确的消息。
2011-01-14 cs.IT math.IT
Coding for Composite DNA to Correct Substitutions, Strand Losses, and Deletions
Technical University of Munich（慕尼黑工业大学）
本文针对复合DNA存储中的替换、链丢失和删除错误，提出编码技术，推导非渐近上界并给出可达界的显式构造。
2024-04-19 cs.IT math.IT
Investigations on Algorithm Selection for Interval-Based Coding Methods
本文研究基于区间的熵编码方法中的算法选择问题，通过伪代码分析符号搜索与区间边界更新策略，证明二进制索引方法在自适应压缩中整体更优，并提出一种更灵活且复杂度部分更低的变体。
2024-09-25 cs.DS cs.IT math.IT
Empirical and Strong Coordination via Soft Covering with Polar Codes
我们设计了两节点网络中经验协调和强协调的极化码。我们的构造取决于极化码使软覆盖的显式低复杂度方案成为可能的事实。我们利用这一属性，提出明确的和低复杂度的编码方案，实现能力区域的经验协调和强协调的行动序列采取价值的字母表中的素数基数。我们的研究结果改进了先前已知的极化编码方案，该方案（i）限于均匀分布和通过二进制对称信道获得的强协调动作，（ii）需要不可忽略的经验协调的共同随机量，以及（iii）假设离散无记忆信道的模拟可以完美地实现。作为我们的研究结果的副产品，我们得到了一个极性编码方案，实现了信道可分辨的任意离散无记忆信道，其输入字母具有素数基数。
2018-06-06 cs.IT math.IT
