Polynomial complexity of polar codes for non-binary alphabets, key agreement and Slepian-Wolf coding
我们考虑极性码的无记忆源与边信息，并表明，块长度，建设，编码和解码的复杂性是有界的压缩率和条件熵之间的差距的倒数的多项式。这将Guruswami和Xia最近的结果扩展到稍微更一般的设置，这反过来又可以应用于（1）具有非二进制字母表的源，（2）离散和高斯源的密钥生成，以及（3）Slepian-Wolf编码和多路访问。在这些情况中的每一种情况下，还控制相对于用户数量的复杂度缩放。特别是，我们构建这些多用户信息论问题，实现最佳速率与整体多项式复杂度的编码方案。
2014-05-05 cs.IT math.IT
On Secrecy Rate Analysis of MIMO Wiretap Channels Driven by Finite-Alphabet Input
本文研究了有限字母表信源输入对多天线窃听系统保密率的影响。现有的工作特点的最大可实现的保密率或保密容量的单天线和多天线系统的高斯源信号和保密码的基础上。尽管高斯信源不切实际，但线性信道高斯输入和相应输出之间的互信息的紧凑的封闭形式的表达导致了高斯输入假设在物理保密分析中的广泛应用。从实际应用的角度出发，研究了有限离散星座对多天线窃听信道可达保密率的影响。我们提出的预编码方案将多天线系统转换为一组并行信道。基于这种预编码策略，我们提出了一种基于对偶分解的分散功率分配算法，以最大化可达保密率。此外，我们分析了在低信噪比和高信噪比的情况下，有限字母输入的可实现的保密率。我们的研究结果表明，在有限字母输入的系统和高斯输入的系统之间的保密率有很大的差异。
2012-01-21 cs.IT math.IT
Universal Weak Variable-Length Source Coding on Countable Infinite Alphabets
基于可数无限字母表上的通用信源编码是不可行的这一事实，本文引入了几乎无损信源编码的概念。类似于Han（IEEE TIT，2000，46，1217-1226）研究的弱可变长度信源编码问题，几乎无损信源编码旨在放松无损逐块假设以允许随着块长度趋于无穷大而渐进地消失的平均每字母失真。在这种设置中，我们一方面表明，香农熵的特点是最小可实现的速率（类似于有限字母表源的情况下），而另一方面，几乎无损的通用信源编码成为可行的有限熵的固定无记忆源与无限字母表的家庭。此外，我们研究了几乎无损普适性的更强概念，该概念要求平均每个字母失真一致收敛到零，其中我们为所谓的包络分布族建立了实现它的充分必要条件。这个条件与强极大极小存在的充分必要条件相同（无损）通用源代码的家庭信封分布。最后，我们表明，一个几乎无损的编码方案提供了更快的收敛速度的（极大极小）冗余相比，众所周知的信息半径开发的无损情况下的代价容忍的非零失真消失为零的块长度的增长。这表明，即使无损的普遍性是可行的，几乎无损的计划可以提供不同的制度上的收敛率（最坏情况下）冗余（最坏情况下）失真。
2021-11-26 cs.IT math.IT
On Universal D-Semifaithful Coding for Memoryless Sources with Infinite Alphabets
本文研究可数无限字母表（$\infty$ -alphabets）上平稳无记忆信源的变长固定失真通用信源编码（或称D-半忠实信源编码）问题。这项工作的主要结果提供了一组充分条件（从弱到强），以获得弱极大极小普适性，强极大极小普适性，以及相应的可实现的收敛率的最坏情况下的冗余的家庭的固定无记忆源的密度是由一个信封功能（或信封家庭）的$\infty$ -字母表。这些结果的一个重要含义是，通用的D-半忠实信源编码是不可行的完整的家庭的固定和无记忆的来源$\infty$ -字母表。为了证明这种不可行性，一个充分条件的不可能性的包络族。有趣的是，它与无损（可变长度）通用信源编码中众所周知的不可能条件相匹配。更一般地说，这项工作提供了一个简单的描述是什么需要实现通用的D-半忠实编码的一个家庭的分布$Λ$。这简化为找到满足两个渐近要求的在不同块长度处的乘积空间的量化的集合-反映固定失真限制：第一个是关于$Λ$的通用量化条件，第二个是$Λ$的消失信息半径（I-半径）条件，这让人想起无损通用信源编码的已知条件。
2021-07-11 cs.DS cs.IT math.IT
Universal channel coding for general output alphabet
针对连续或离散输出字母表，本文提出两类通用信道码，分别实现错误概率指数衰减与 ε-容量及二阶编码速率，并借助 Rényi 相对熵和信息谱方法给出统一分析。
2017-06-30 cs.IT math.IT
Capacity of Sum-networks for Different Message Alphabets
和网络是一个有向无环网络，其中所有终端节点都要求在源节点处观察到的独立信息的“和”。许多特性的研究多单播网络通信问题也持有和网络，由于这两个问题的实例之间的一个已知的减少。我们的主要结果是，不同于多个单播网络，和网络的编码能力是依赖于消息字母表。我们证明了这一点，使用的建设过程中，并表明，选择的消息字母表可以减少编码能力的总和网络从$1$接近$0$。
2015-04-21 cs.IT math.IT
Lower Bounds on the Redundancy of Huffman Codes with Known and Unknown Probabilities
在本文中，我们提供了一种方法来获得严格的最小冗余度的霍夫曼码时，概率分布的字母表是唯一的部分已知的。特别是，我们解决的情况下，发生概率是未知的字母表中的一些符号。可以获得给定大小的字母表、给定大小以下的字母表以及任意大小的字母表的边界。该方法在计算机代数系统上运行，为所有结果产生封闭形式的数字。最后，我们展示了所提出的方法的潜力，揭示了一些结构的最小冗余实现的霍夫曼码。
2019-09-02 cs.IT math.IT
Markov Lemma for Countable Alphabets
强典型性和马尔可夫引理已被用于多终端信源编码定理的证明中。由于这两种工具只能应用于有限字母表，所以它们所证明的结果受到同样的限制。近年来，一种新的典型性概念被提出，即统一典型性。它既可以应用于有限字母表，也可以应用于可数无限字母表，并且保持了渐近均分性和强典型性的结构性质。在本文中，统一的典型性是用来推导出一个版本的马尔可夫引理，它的工作都有限或可数无限的字母，使许多结果在多端信源编码可以很容易地扩展。此外，一个简单的方法来验证一些序列是否是联合典型的。
2010-06-02 cs.IT math.IT
Curves on torus layers and coding for continuous alphabet sources
在本文中，我们考虑的问题，发送一个连续字母离散时间源在AWGN信道。为此目的的良好曲线的设计依赖于球形码的几何性质和$N$维晶格的投影。我们提出了一个建设性的计划的基础上的一组曲线的表面上的一个2N维球体和目前的比较与以前的一些作品。
2012-05-04 cs.IT math.DG math.IT
Joint Network-Source Coding: An Achievable Region with Diversity Routing
我们感兴趣的是如何最好地沟通一个（通常是实值）源的目的地（汇）在网络上的容量限制在一个集体的保真度度量在所有的汇，一个问题，我们称之为联合网络信源编码。与无损网络编码问题不同，允许在接收器处对源进行有损重构。我们第一次尝试的特点，在一个给定的网络中的一组汇可实现的所有失真的集合。虽然所有可实现的失真的整个区域在很大程度上仍然是一个开放的问题，我们发现一个大的，非平凡的子集，它使用多描述编码的想法。该方法在所有平衡多描述码和所有网络流上推导出可达区域，同时允许网络节点转发和复制数据包。
2005-11-12 cs.IT math.IT
Information Bottleneck on General Alphabets
我们严格证明了一个信源编码定理，可能被认为是民间传说，一个推广到任意字母表的问题的信息瓶颈方法的动机。对于一般的随机变量$(Y, X)$，我们基本上表明，对于一些$n \in \mathbb{N}$，一个功能$f$的速率限制$\log|f| \le nR$和$I(Y^n; f(X^n)) \ge nS$存在当且仅当有一个随机变量$U$，使马尔可夫链$Y - X - U$举行，$I(U; X) \le R$和$I(U; Y) \ge S$。证明依赖于既定的离散情况下，并展示了一种技术，提升离散编码定理，以任意字母。
2018-05-01 cs.IT math.IT
Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding
现代数据压缩主要基于两种熵编码方法：霍夫曼编码（HC）和算术/距离编码（AC）。前者要快得多，但近似概率为2的幂，通常导致相对较低的压缩率。后者使用几乎精确的概率-很容易接近理论压缩率极限（香农熵），但代价是更大的计算成本。非对称数字系统（ANS）是一种精确熵编码的新方法，它允许结束速度和速率之间的这种权衡：最近的实现[1]提供了比256大小字母表的HC快大约$50\%$的解码，压缩率类似于AC提供的压缩率。这个优点是由于比AC更简单：使用单个自然数作为状态，而不是两个来表示范围。除了简化重正化，它还允许将给定概率分布的整个行为放入一个相对较小的表中：定义熵编码自动机。对于256大小的字母表，这样的表的存储器成本是几个字节。在选择特定表时有很大的自由度-为此目的使用用加密密钥初始化的伪随机数生成器允许同时加密数据。本文还介绍和讨论了这种新的熵编码方法的许多其他变体，这些变体可以为标准AC、大字母范围编码或近似的准算术编码提供直接的替代方案。
2014-01-06 cs.IT math.IT
Separation of source-network coding and channel coding in wireline networks
本文证明了有线网络中信源网络编码与信道编码的分离。对于这项工作的目的，有线网络是任何网络的独立的，无记忆的，点对点的，有限字母表的信道用于传输相关的来源，无论是losslance或受到失真约束。在推导这一结果时，我们还证明了在具有相关源的一般无记忆网络中，无损和零失真重建是等价的，只要每个源的条件熵给定其他源是非零的。此外，我们将分离结果扩展到连续字母表，点对点信道，如加性高斯白噪声（AWGN）信道的情况。
2012-12-18 cs.IT math.IT
Achievable Rate Region of Quantized Broadcast and MAC Channels
本文研究了高斯多用户信道的可达速率域，其中发送的消息来自有限输入字母表，输出在接收端量化为{ \em}。特别是，我们专注于$i)$高斯广播信道（GBC）和$ii)$高斯多址接入信道（GMAC）的可达速率区域。首先，我们研究了两个用户GBC的可达速率区域时，要发送到两个用户的消息从有限的信号集的值和接收到的信号在两个用户进行量化。我们将该信道称为{ \em量化广播信道（QBC）}。我们观察到，为GBC定义的容量区域不会像这样结转到QBC。我们证明了GBC的最佳解码方案（即，高SNR用户进行连续解码和低SNR用户单独解码其消息）对于QBC不是最优。然后，我们提出了一个可实现的速率区域QBC基于两种不同的计划。我们提出了可实现的速率区域结果的情况下，在接收机的均匀量化。接下来，我们研究了有限输入字母表和量化接收机输出的两用户GMAC的可达速率区域。我们将该信道称为{ \em量化多址信道（QMAC）}。我们推导出表达式的两个用户QMAC的可实现的速率区域。我们表明，有限的输入字母，可实现的速率区域与常用的均匀接收器量化器相比，没有接收器量化的可实现的速率区域有一个显着的损失。我们提出了一个{ \em非均匀量化器}，它有一个显着更大的速率区域相比，在QMAC的均匀量化器实现。
2011-02-14 cs.IT math.IT
Bounds on the Achievable Rate of Noisy feedback Gaussian Channels under Linear Feedback Coding Scheme
本文研究了带噪声反馈的加性高斯噪声信道。我们考虑反馈信息的线性编码和消息的高斯信令（即覆盖-庞布拉方案）的设置。然后，我们推导出这种设置的最大可实现的速率的上限和下限。我们证明了这两个界可以通过求解两个凸优化问题得到。最后，我们提出了一些模拟和讨论。
2011-08-13 cs.IT math.IT
Alphabet Size Reduction for Secure Network Coding: A Graph Theoretic Approach
我们考虑一个通信网络中存在窃听器谁可以访问一个子集的通道，称为窃听集，这是从一个给定的收集窃听集选择。窃听集的收集可以是任意的。安全网络编码是为了防止源信息泄露给窃听者。在安全网络编码中，所需的字母表大小是一个开放的问题，不仅在理论上的兴趣，而且具有实际意义，因为它是密切相关的实施，这种编码方案的计算复杂性和存储要求。在本文中，我们开发了一个系统的图论方法，提高蔡和杨的下界所需的字母表大小的存在安全的网络代码。由此得到的新的下界，它只依赖于网络拓扑结构和收集的窃听集，可以显着小于蔡和杨的下界。一个多项式时间算法设计的新的下界的有效计算。
2016-11-28 cs.DM cs.IT math.CO
Pattern Coding Meets Censoring: (almost) Adaptive Coding on Countable Alphabets
自适应编码面临以下问题：给定一个源类集合，使得集合中的每个类都具有非平凡的极大极小冗余率，我们能否设计一个对集合中的每个类都渐近极大极小的编码？特别是，当集合中的类的联合上没有通用代码时，自适应编码是有意义的。在本文中，我们处理类源在一个无限的字母表，其特征在于由一个控制包络。我们提供了渐近等价的冗余信封类享受定期变化的属性。最后，我们构建了一个计算效率高的在线前缀码，交织的编码的所谓的模式的消息和编码的字典中发现的符号。该代码被证明是自适应的，在一个$\log\log n$的因素，定期变化的信封类的集合。该代码比前面描述的竞争者更简单，冗余更少。与以前的尝试相比，它还涵盖了缓慢变化的包络类的全部范围。
2016-09-01 cs.IT math.IT math.ST
An Information Theoretic Analysis of Single Transceiver Passive RFID Networks
在本文中，我们研究单收发器无源RFID网络建模的基础物理系统作为一个特殊的级联的一定的广播信道（BCC）和多址接入信道（MAC），使用之间的“嵌套码本”结构。特定应用将该通信设置与BCC和MAC的普通级联区分开，并且需要某些结构，诸如“嵌套码本”、杂质信道或附加功率约束。我们调查这个问题，无论是离散的字母表，我们的特点是可实现的速率区域，以及连续字母加性高斯噪声，我们提供的容量区域。因此，我们建立了最大可实现的无差错通信速率为这个特定的问题，构成了基本的限制，是可实现的任何基于TDMA的RFID协议和可实现的速率区域的情况下，连续字母加性高斯噪声的任何RFID协议。
2009-01-06 cs.IT math.IT
The Undecidability of Network Coding with some Fixed-Size Messages and Edges
我们考虑一个网络编码设置，其中一些消息和边缘具有固定的字母表大小，当我们增加其余消息和边缘的公共字母表大小时，这些字母表大小不会改变。我们证明了决定这样的网络是否接受编码方案的问题是不可判定的。这可以被认为是对网络编码（没有固定大小的消息/边）是不可判定的猜想的部分解决方案。证明，这使得大量使用类比与数字电路，基本上是构建一个数字电路的逻辑门和触发器的网络编码模型，能够模拟任意的图灵机。
2022-02-10 cs.IT math.IT
Second-Order Slepian-Wolf Coding Theorems for Non-Mixed and Mixed Sources
研究了Slepian-Wolf信源编码系统的二阶可达码率区。在单用户信源编码问题中，二阶可达速率的概念已经被引入并分析了一般信源，它使我们能够对可达速率进行更精细的评估。类似地，在本文中，我们首先定义Slepian-Wolf编码系统的二阶可达速率区域，以建立二阶意义下的信源编码定理。相关信源的Slepian-Wolf编码问题是多终端信息论中的典型问题之一。特别地，Miyake和Kanaya以及Han建立了一般相关信源的一阶信源编码定理。另一方面，在一般情况下，Slepian-Wolf编码系统与一般源的二阶可达速率问题仍然是开放的。本文基于Han和Verdu提出的信息谱方法，分析了一般信源的二阶可达速率。此外，我们建立了显式的二阶可达速率区域的i.i.d.相关源与可数无限字母和混合相关源，分别使用相关的渐近正态性。
2013-02-03 cs.IT math.IT
An Achievable Rate-Distortion Region for the Multiple Descriptions Problem
提出了一种多描述（MD）编码策略，并推导了可达率失真区域的内界。该方案使用线性码。它示出在两个不同的MD设置，线性编码方案实现了更大的率失真区域比以前已知的随机编码策略。此外，它示出了通过一个例子，最好的已知的随机编码方案的设置可以通过包括额外的随机生成的码本进行改进。
2014-02-10 cs.IT math.IT
Achievable Rate Derivations and Further Simulation Results for "Physical-Layer Multicasting by Stochastic Transmit Beamforming and Alamouti Space-Time Coding"
这是主手稿“物理层多播随机传输波束成形和Alamandro空时编码”的配套技术报告。该报告提供了详细的推导过程中遇到的主要手稿，这是太长，被列入后者的可实现率函数。此外，更多的模拟结果来验证的可行性的多播方案中开发的主要手稿。
2013-05-07 cs.IT math.IT
An Achievable Rate-Distortion Region for Multiple Descriptions Source Coding Based on Coset Codes
我们考虑的问题，多描述（MD）信源编码，并提出新的编码策略，涉及非结构化和结构化的编码层。以前，用于$l$描述问题的最一般的可实现的速率失真（RD）区域是具有合并的组合消息共享（CMSB）区域。CMSB方案利用非结构化量化器和非结构化分箱。在本文的第一部分中，我们表明，这种策略可以改进后，使用更一般的非结构化量化器和更一般的非结构化分仓方法。在第二部分中，结构化的编码策略被认为是。首先，结构化的编码策略，考虑具体的MD的例子，涉及三个或更多的描述。我们表明，应用结构化量化结果在严格的RD改进时，有两个以上的描述。此外，我们表明，结构化分仓也产生了改善。这些改进是除了在第一部分的文件中得出的。这表明，结构化编码是必不可少的编码超过两个描述。使用这些例子中开发的想法，我们提供了一个新的统一的编码策略，考虑几个结构化的编码层。最后，我们描述其性能的形式内界的最佳率失真区域使用可计算的单字母信息量。新的RD区域严格包含所有先前已知的可实现区域。
2016-02-05 cs.IT math.IT
A New Achievable Rate-Distortion Region for Distributed Source Coding
在这项工作中，被认为是相关源对的有损分布式压缩。传统上，香农的随机编码参数-使用随机生成的非结构化码本，其块长度被认为是渐近大-被用来获得可扩展性的结果。然而，最近观察到，在各种多终端通信场景中，与传统方法相比，使用具有恒定有限块长度的随机码可以导致改进的可实现区域。换句话说，在某些网络通信场景中，用于信息源的分布式处理的随机生成代码的块长度存在有限的最优值。受此启发，提出了一种编码方案，其由两个码本层组成：i）具有恒定有限块长度的主码本，以及ii）块长度被取为渐近大的辅助码本。可实现的区域分两步分析。在第一步中，可实现的区域的特性是使用信息措施，这是多字母概率分布的函数。在下一步骤中，可计算的单字母内绑定到可实现的区域。它示出通过几个例子，所得到的率失真区域是严格大于Berger Tung可实现的区域。
2020-10-19 cs.IT math.IT
Vector Network Coding Based on Subspace Codes Outperforms Scalar Linear Network Coding
本文考虑了基于秩度量码和子空间码的矢量网络编码方案。本文的主要结果是，向量的解决方案可以显着减少所需的字母表的大小相比，最佳的标量线性解决方案相同的组播网络。本文考虑的组播网络有一个源与$h$消息，和向量的解决方案是在一个域的大小为$q$与向量的长度为~ $t$。对于一个给定的网络，设网络具有标量线性解的最小域大小为$q_s$，则向量解和标量线性解之间的字母表大小的间隙定义为$q_s-q^t$。在该贡献中，对于任何$q \geq 2$和任何偶数$h \geq 4$，实现的间隙是$q^{(h-2)t^2/h + o(t)}$。如果$h \geq 5$是奇数，则实现的字母表大小的间隙是$q^{(h-3)t^2/(h-1) + o(t)}$。以前，对于具有非常大量消息的网络，仅显示大小为1的间隙。这些结果意味着最佳标量线性和一些标量非线性网络编码解之间的字母大小的差距相同的组播网络。对于三个消息，我们还展示了矢量网络编码的优势，而对于两个消息，问题仍然是开放的。几个网络被认为是，他们都是众所周知的组合网络的推广和修改。用作这些网络的解决方案的矢量网络码基于子空间码，特别是从秩度量码获得的子空间码。其中一些码形成了新的子空间码族，这就提出了一个新的研究问题。
2018-01-14 cs.IT math.IT
Benefiting from Disorder: Source Coding for Unordered Data
字母的顺序在沟通任务中并不总是相关的。本文讨论了阶数无关性对信源编码的影响，给出了信源编码理论的几个主要分支的结果：无损编码，通用无损编码，率失真，高速率量化和通用有损编码。主要结论表明，有一个显着的节省率时，顺序是无关紧要的。具体地，来自有限字母表的n个字母的无损编码需要Theta（log n）比特，并且对于许多可数字母表源，通用无损编码需要n + o（n）比特。然而，没有通用的方案，可以驱动一个强大的冗余措施为零。有损编码的结果包括在各种高速率量化方案中从阶无关性节省速率的分布自由表达式。率失真界给出，它表明，类似的香农下界是松散的，在所有有限的速率。
2007-08-17 cs.IT math.IT
Linear Network Coding over Rings, Part I: Scalar Codes and Commutative Alphabets
固定大小的交换环是准序的，使得任何给定环上的所有标量线性可解网络也是任何高阶环上的标量线性可解网络。作为结果，如果网络在某个有限交换环上有标量线性解，则（i）网络在相同大小的最大交换环上也是标量线性可解的，并且（ii）网络在其上有标量线性解的（唯一）最小交换环是域。我们证明了交换环关于拟序是极大的当且仅当某些网络在该环上是标量线性可解的，但在任何其他相同大小的交换环上都不是。此外，我们证明了极大交换环是由极大环的大小的素因子重数的整数划分所指定的某些域的直积。最后，我们证明了存在唯一的$m$大小的极大交换环当且仅当$m$的每个素因子在$\{1,2,3,4,6\}$中有重数.事实上，只要$p$是素数且$k \in \{1,2,3,4,6\}$，那么唯一的这样一个大小为$p^k$的极大环就是域$GF(p^k)$。然而，对于每个域$GF(p^k)$与$k\not\in \{1,2,3,4,6\}$，总是有一些网络不是标量线性可解的域，但标量线性可解的交换环的大小相同。这些结果意味着，对于交换环上的标量线性网络编码，字段总是可以使用时，字母表的大小是灵活的，但替代环时，字母表的大小是固定的。
2016-08-08 cs.IT math.IT
Joint Source-Channel Coding on a Multiple Access Channel with Side Information
我们考虑多个分布式相关源在多址接入信道（MAC）的源和解码器的边信息的传输问题。源-通道分离不适用于此通道。给出了具有给定畸变的信源传输的充分条件。源和/或信道可以具有连续的字母表（因此高斯源和高斯MAC是特殊情况）。作为特例得到了以前的各种结果。本文还提出了几种适用于离散信源和离散/连续字母信道的信源-信道编码联合方案。
2009-04-26 cs.IT math.IT
Myopic Coding in Wireless Networks
我们研究了通过多中继网络从源到汇的数据传输的可达速率。我们研究了全知编码，其中所有节点都被认为是在每个节点的编码设计可实现的速率。我们发现，当最大化可实现的速率时，并非所有节点都需要在编码和解码方面与所有其他节点“合作”。这导致我们提出一个约束网络，每个节点在编码和解码过程中只考虑几个相邻节点。我们称之为近视编码，并计算近视编码可达到的速率。我们的例子表明，当节点在低信噪比下传输，这些速率是接近全知编码，当网络是不受约束的。这表明，对网络的短视看法可能与全球观点一样好。此外，近视编码具有对拓扑变化更鲁棒的实际优点。它还减轻了全知编码方案的高计算复杂性和大缓冲器/存储器要求。
2006-04-25 cs.IT math.IT
Linear Network Coding over Rings, Part II: Vector Codes and Non-Commutative Alphabets
我们证明了以下关于网络在各种字母表上的线性可解性的结果。对于任何网络，以下是等价的：（i）在某个有限域上的向量线性可解性，（ii）在某个环上的标量线性可解性，（iii）在某个模上的线性可解性。类似地，以下是等价的：（a）有限域上的纯量线性可解性，（b）交换环上的纯量线性可解性，（c）环是交换的模上的线性可解性。当任何网络在一个模上线性可解时，一个最小的这样的模出现在该网络在域上的向量线性解中。如果一个网络在某个非交换环上线性可解，但在任何交换环上都不可解，那么这样一个非交换环的大小必须至少为$16$，并且对于某些网络，这个界限是可以达到的。证明了一类无限网络族，其中每个网络在某个非交换环上是标量线性可解的，但在任何交换环上都不是。当$p$是素数且$2 \le k \le 6$时，如果一个网络在某个大小为$p^k$的环上是标量线性可解的，那么它在域$GF(p)$上也是$k$维向量线性可解的，但反过来不一定成立。当环是交换环时，这个结果推广到所有的$k\ge 2$.
2016-08-08 cs.IT math.IT
Achievable Rate Regions for Network Coding
一般认为，确定使用路由、线性编码或非线性编码的网络的可实现速率区域是一项困难的任务，并且很少有人知道。我们描述了四个有趣的网络（完全为三个和部分为第四个）的可实现的速率区域。除了已知的矩阵计算方法证明外边界的线性编码，我们提出了一种新的方法，产生实际的特征依赖的线性秩不等式，从所需的界限如下立即。
2013-11-19 cs.IT cs.NI math.IT
Achievable Rates and Error Exponents for a Class of Mismatched Compound Channels
本文研究失配解码在信道接近解码度量时的可达速率与误差指数，推导了相对熵球半径函数的近似，刻画信道估计损失，并给出离散与连续信道的示例。
2025-05-26 cs.IT math.IT
On the Achievable Rate Regions for Interference Channels with Degraded Message Sets
具有降级消息集的干扰信道（IC-DMS）指的是这样的通信模型，其中两个MIMO尝试通过公共介质同时与它们各自的接收机通信，并且其中一个MIMO具有关于由另一个MIMO发送的消息的完整和先验（非因果）知识。一个编码方案，共同具有的优点，合作编码，协作编码，脏纸编码，开发这样的信道。借助于这种编码方案，在离散无记忆和高斯的情况下，IC-DMS的可实现的速率区域的推导，其中，在一般情况下，包括几个以前已知的速率区域。高斯情况下的数值例子表明，在高干扰增益制度，派生的可实现的速率区域提供了相当大的改进，这些现有的结果。
2007-04-05 cs.IT math.IT
Compressing Multisets with Large Alphabets using Bits-Back Coding
Meta AI；University of Toronto（多伦多大学）；Vector Institute for AI（向量人工智能研究所）；University of Amsterdam（阿姆斯特丹大学）
当前以最佳速率压缩多集合的方法具有与字母表大小线性缩放的计算复杂性，使得它们在许多现实世界设置中太慢而不实用。我们将展示如何将序列的压缩算法转换为一个多集，以换取一个额外的复杂性，是准线性的序列长度。这使我们能够以最佳速率压缩多组可交换符号，同时计算复杂性与字母表大小解耦。关键的见解是避免直接编码多集，而是压缩代理序列，使用一种称为“位回编码”的技术。我们证明了实验上的任务，这是棘手的最优速率的方法：压缩多组图像和JavaScript对象表示法（JSON）文件的方法。我们的实验代码可以在https://github.com/facebookresearch/multiset-compression上找到。
2023-02-27 cs.IT cs.LG eess.SP
Optimal Age over Erasure Channels
以前的作品年龄的信息和擦除通道处理特定的模型和计算的平均年龄或平均峰值年龄为某些设置。在本文中，给定一个源，产生一个字母，每$T_s$秒和一个擦除通道，可以使用每$T_c$秒，我们问什么是编码策略，最大限度地减少时间平均年龄的信息，观察员的信道输出招致。我们首先分析的情况下，源字母和通道输入字母具有相同的大小。我们证明了一个平凡的编码策略是最佳的，可以推导出一个封闭的形式的年龄表达式。然后，我们分析的情况下，字母有不同的大小。我们使用一个随机编码参数绑定的平均年龄和使用随机码实现的平均年龄收敛到线性分组码的最佳平均年龄的源字母表变得大。
2021-10-20 cs.IT math.IT
Generalized Independent Component Analysis Over Finite Alphabets
独立分量分析（ICA）是一种统计方法，用于将可观测的多维随机向量转换为尽可能相互独立的分量。通常ICA框架假设一个模型，根据该模型生成观测值（例如具有加性噪声的线性变换）。有限域上的ICA是ICA的一种特殊情况，其中观测值和独立分量都在有限字母表上。在这项工作中，我们考虑了这个框架的推广，在这个框架中，一个观察向量被分解为它的独立组件（尽可能多），没有事先假设它的生成方式。这种推广也被称为巴洛的最小冗余表示问题，被认为是一个开放的问题。我们提出了几个定理，并表明，这个NP困难的问题可以准确地解决了一个分支定界搜索树算法，或紧密近似的一系列线性问题。我们的贡献为Barlow问题提供了第一个有效且有建设性的解决方案。最小冗余表示（也称为阶乘码）有许多应用，主要在神经网络和深度学习领域。二进制ICA（BICA）也被证明有几个领域的应用，包括医疗诊断，多簇分配，网络断层扫描和互联网资源管理。在这项工作中，我们表明这种配方进一步适用于多学科的信源编码，如预测编码，分布式信源编码和编码的大字母来源。
2015-08-20 cs.IT math.IT
Erasure/List Random Coding Error Exponents Are Not Universally Achievable
我们研究的问题，普遍解码未知的离散无记忆信道中存在的擦除/列表选项在解码器中，在随机编码制度。具体来说，我们利用一个通用版本的Forney的经典擦除/列表解码器在早期的研究中，这是基于竞争的极大极小方法，并保证普遍的最佳随机编码误差指数的一定比例的可扩展性。在本文中，我们推导出一个精确的单字母表达式的最大可实现的分数。给出的例子中，最大可实现的分数是严格小于单位，这意味着，在一般情况下，没有通用的擦除/列表解码器，实现相同的随机编码误差指数作为一个已知的信道的最佳解码器。这与普通解码（没有擦除/列表选项）中的情况相反，其中最佳指数是普遍可实现的，如众所周知的。它还表明，以前的最大可实现的分数的下界推导一般不紧。然后，我们分析了一个广义的随机编码合奏，其中包括一个训练序列，结合一个次优的实际解码器（“插件”解码器），它首先估计使用已知的训练序列的信道，然后解码剩余的符号的码字使用估计的信道。我们的研究结果的影响之一，是设置一个合理的最佳训练标准的阶段。最后，我们比较了“插件”解码器和通用解码器的性能，在可实现的错误指数，并表明，后者是明显优于前者。
2017-06-22 cs.IT math.IT
Abelian Group Codes for Source Coding and Channel Coding
本文研究了任意离散（有限字母表）无记忆信源的有损信源编码问题以及任意离散（有限字母表）无记忆信道的信道编码问题的阿贝尔群码的渐近性能。对于信源编码问题，我们推导出一个可实现的率失真函数，其特征在于在一个单字母的信息理论的形式使用阿贝尔群码的合奏。当底层群是场时，它简化为对称率失真函数。同样，对于信道编码问题，我们发现了一个可实现的速率，其特征在于在一个单字母的信息理论的形式使用组码。当底层组是字段时，这简化为通道的对称容量。我们计算率失真函数和可实现的速率为几个例子的来源和渠道。由于所考虑的源和通道的非对称性，我们的分析使用了信息论和群论工具的协同作用。
2013-05-07 cs.IT math.IT
Network Coding Capacity Regions via Entropy Functions
在本文中，我们使用熵函数来描述一般网络编码问题的速率容量元组集，这些元组可以是零解码错误，也可以是零解码错误。我们表明，当源是同位的，由Yeung，A First Course in信息论，第15.5节（2002年）得到的外边界是紧的，零误差可实现和消失误差可实现的速率容量元组的集合是相同的。我们还讨论了一组零错误和消失错误可实现的速率容量元组的网络编码问题的线性编码约束，路由约束（其中一些或所有节点只能执行路由）和保密约束。最后，我们表明，即使是显然简单的网络，最佳代码的设计可能是困难的。特别是，我们证明，对于增量组播问题和单源安全网络编码问题，表征的可实现集是非常困难的，线性网络代码可能不是最佳的。
2012-01-05 cs.IT math.IT
More Efficient Algorithms and Analyses for Unequal Letter Cost Prefix-Free Coding
有大量的文献致力于寻找一个最佳的（最小成本）前缀免费代码与不等的字母成本编码字母表的大小的问题。虽然没有已知的多项式时间算法来最优地解决它，但有许多好的算法都提供了最优的附加误差。这些算法中的附加误差通常与最大编码字母大小成线性关系。本文的动机是寻找最佳的代码时，编码字母表是无限的问题。由于最大的字母成本是无限的，前面的分析可能会给出无限的误差界。我们提供了一个新的算法，工程与无限的编码字母。当限制到有限字母表的情况下，我们的算法往往提供更好的误差界比以前已知的最好的。
2007-05-03 cs.DS cs.IT math.IT
Achievable Rate Regions for Two-Way Relay Channel using Nested Lattice Coding
本文研究高斯双向中继信道，其中两个通信节点通过中继交换消息。假设所有节点在通信节点之间没有任何直接链路的情况下以半双工模式操作。首先提出了一种基于嵌套格码的压缩转发中继策略。然后，所提出的方案进行了改进，通过执行分层编码：一个共同的层是由两个接收机解码和细化层恢复只有接收机具有最佳的信道条件。新方案的可实现的速率的特点，并被证明是高于解码和转发策略在某些地区提供的。
2013-11-21 cs.IT math.IT
Joint fixed-rate universal lossy coding and identification of continuous-alphabet memoryless sources
在连续字母表无记忆信源的固定速率有损编码环境下，考虑了联合通用信源编码和识别问题。对于一类广泛的有界失真测度，证明了任何紧参数化的$\R^d$ -值i.i.d.源的绝对连续分布，满足适当的平滑度和Vapnik-Chervonenkis学习条件，承认一个联合计划的通用有损块编码和参数估计，这样，当块长度$n$趋于无穷大，开销每字母率和失真冗余收敛到零，分别为$O(n^{-1}\log n)$和$O(\sqrt{n^{-1}\log n})$。此外，有源源可以在解码器处被确定为半径为$O(\sqrt{n^{-1} \log n})$的球，在变距离中，渐近地几乎肯定。该系统具有有限的内存长度等于块的长度，并可以被认为是一个时不变的非线性滤波器的块的应用程序与初始条件确定从前一个块。与现有的几个通用矢量量化方案，其中不包括参数估计明确的比较，并概述了无限失真措施的扩展。最后，有限的混合类和指数家庭的参数源承认联合通用的压缩和建模方案的研究在这里给出明确的例子。
2007-05-17 cs.IT cs.LG math.IT
Achievable Information Rates for Probabilistic Amplitude Shaping: An Alternative Approach via Random Sign-Coding Arguments
概率幅度成形（PAS）是一种将星座成形和信道编码相结合的编码调制策略。PAS在无线通信和光通信中都引起了相当大的关注。在文献中使用Gallager的误差指数方法研究了PAS的可重复信息率（AIR）。特别是，已经证明PAS实现了加性高斯白噪声信道的容量（Böcherer，2018）。在这项工作中，我们重新审视PAS的能力实现属性，并使用弱典型性导出AIR。我们的目标是提供替代证据的基础上随机符号编码的参数，尽可能建设性的。因此，在我们的证明中，只有一些符号的通道输入是从一个随机码，而其余的符号和幅度建设性地产生。我们考虑符号度量和比特度量解码。
2020-07-12 cs.IT math.IT
Achievable Rate Regions Using Novel Location Assisted Coding (LAC)
最近无线设备数量的增加是由灵巧家庭和物联网（IoT）的不断增长的市场推动的。因此，射频（RF）频谱的扩展和/或有效利用对于适应无线带宽的这种增加至关重要。或者，最近的自由空间光（FSO）通信技术已经证明了构建WiFO（使用毫微微小区架构的高容量室内无线网络）的可行性。由于FSO传输不干扰RF信号，因此这种系统可以与当前的WiFi系统集成，以提供带宽的数量级改进。WiFO的一个新组件是它能够联合编码来自不同流的比特以实现最佳传输。在本文中，我们介绍了WiFO架构和一种新的合作传输框架，使用位置辅助编码（LAC）技术，以增加整体无线容量。具体而言，将表征使用LAC的WiFO的可实现速率区域。数值和理论分析验证了所提出的编码方案。
2017-02-03 cs.IT math.IT
Joint universal lossy coding and identification of stationary mixing sources with general alphabets
Beckman Institute for Advanced Science and Technology, University of Illinois（伊利诺伊大学贝克曼先进科学技术研究所）；Duke University（杜克大学）
我们考虑的问题，联合通用可变速率有损编码和识别的参数类的固定$β$混合源一般（波兰）字母。压缩性能是衡量的拉格朗日，而识别性能是衡量的变化之间的距离真实源和估计源。假设源以足够快的速率混合并满足一定的平滑性和Vapnik-Chervonenkis可学习性条件，则对于有界度量失真，存在用于联合有损压缩和识别的通用方案，其拉格朗日冗余收敛到零，如块长度$n$趋于无穷大时的$\sqrt{V_n \log n /n}$，其中$V_n$是由源的$n$维边缘分布定义的某类决策区域的Vapnik-Chervonenkis维数;此外，对于每个$n$，解码器可以识别活动源的$n$维边缘，直到在变距离中的半径为$O(\sqrt{V_n\log n/n})$的球，最终概率为1。结果补充了几个例子的参数源满足正则性条件。
2009-01-13 cs.IT cs.LG math.IT
Noncoherent LDPC-Coded Physical-Layer Network Coding using Multitone FSK
提出了一种非相干双向中继系统，该系统采用物理层网络编码，在衰落信道中比传统中继系统提高了吞吐量。使用多音频移键控（FSK）实现节能非相干操作。一种新的软输出解调器的中继，并找到相应的可实现的交换率瑞利衰落和AWGN信道。比特-出错率性能接近可实现的速率实现使用容量接近信道码和接收机架构，迭代之间的解调和信道解码。执行迭代解码，将信息从信道解码器反馈到解调器。此外，通过对LDPC码的优化，使系统的误码性能更接近于可达到的速率。通过增加调制阶数获得的能量效率改进对于所提出的物理层网络编码方案比对于常规点对点系统更显著。使用优化的LDPC码，比特-出错率性能比广泛已知的标准化LDPC码提高多达1.1dB，并且达到对应于可实现速率的极限的0.7dB以内。在整个工作中，物理层网络编码的性能相比，传统的网络编码。当使用非相干FSK时，物理层网络编码能够实现更高的可实现速率，并且传统网络编码在低速率下表现出更好的能量效率。
2018-01-31 cs.IT math.IT
Achievable Rates for Short-Reach Fiber-Optic Channels with Direct Detection
研究了短距离光纤链路色散（CD）和接收器，采用方向检测和过采样频谱效率的通信。通过使用说明采样符号串中的存储器的辅助信道来计算可采样速率和符号错误概率。实字母双极和复杂的字母对称调制，以实现显着的能量增益超过经典的强度调制。此外，频域升余弦（FD-RC）脉冲优于时域RC（TD-RC）脉冲的频谱效率方面的两种情况。首先，如果与其他用户共享频谱，则信道间干扰显著降低TD-RC速率。第二，如果存在发射滤波器以避免干扰，则FD-RC和TD-RC脉冲的检测复杂度相似，但是FD-RC实现更高的速率。
2022-03-17 cs.IT math.IT
Variable-Length Coding with Cost Allowing Non-Vanishing Error Probability
我们推导出一个一般公式的最小可达到的速率固定到可变长度的编码与定期的成本函数，允许错误概率为常数$\varepsilon$。对于固定到可变长度的代码，我们将可以无错误地解码的源序列的集合称为源序列的主导集合。对于任何两个常规的成本函数，它揭示了一个代码的源序列的占主导地位的一组达到最小可实现的速率与成本函数也是占主导地位的一个代码达到最小可实现的速率与其他成本函数。给出了二阶最小可达速率的一般公式。
2016-10-06 cs.IT math.IT
Information-Theoretic Viewpoints on Optimal Causal Coding-Decoding Problems
在本文中，我们考虑一个相互作用的两个代理顺序决策问题，由一个马尔可夫源过程，因果编码反馈，因果解码器。出于希望促进控制和信息论之间的联系，我们增加了标准的制定考虑一般字母和成本函数的操作当前和以前的符号。使用动态规划，我们提供了一个结构性的结果，从而存在一个最佳方案，适当的充分的统计数据。我们强调一个例子，其中解码器字母表位于源字母表上的信念空间中，并且附加成本函数是与顺序信息增益有关的对数似然比。我们还考虑逆最优控制问题，其中一个固定的编码器/解码器对满足统计条件被证明是最佳的一些成本函数，使用概率匹配。我们提供的例子，这个框架的适用性与反馈，隐马尔可夫模型和非线性滤波器，分散控制，脑机接口，排队论的通信。
2011-02-01 cs.IT math.IT
Network Coding with Two-Way Relaying: Achievable Rate Regions and Diversity-Multiplexing Tradeoffs
本文讨论了在无线自组网中通过双向中继的多跳网络编码进行信息交换的基本特性。首先分析了时分多跳（TDMH）、MAC层网络编码（MLNC）和PHY层网络编码（PLNC）实现的端到端速率区域。结果表明，MLNC并不总是比TDMH获得更好的速率，TDMH和MLNC之间的分时能够实现更大的速率区域，PLNC主导TDMH和MLNC实现的速率区域。MLNC和PLNC的机会调度算法，然后提出了稳定的双向中继系统的泊松到达时，速率对是在MLNC和PLNC的香农速率区域。为了理解多跳网络编码的双向传输限制，还分析了在有或没有特定业务模式的情况下的和速率优化以及多个中继节点上的双向传输的端到端分集复用折衷（DMT）。
2009-02-13 cs.IT math.IT
Quasi Linear Codes: Application to Point-to-Point and Multi-Terminal Source Coding
介绍了一种新的结构化码系综。这些码被称为准线性码（QLC）。QLC是通过取线性码的子集来构造的。与线性码相比，它们具有更松散的结构，并且在加法下不闭合。我们认为，这些代码提供的增益在不同的多终端信源编码问题的可实现的率失真（RD）。我们推导出必要的覆盖范围分析QLC的性能。然后，我们考虑多描述（MD）问题，并证明通过一个例子，QLC的应用程序给出了一个改进的可实现的RD区域为这个问题。最后，我们推导出一个内界的可实现的RD区域的一般MD问题，严格包含所有以前已知的可实现的区域。
2016-02-14 cs.IT math.IT
Reinforcement Learning Evaluation and Solution for the Feedback Capacity of the Ising Channel with Large Alphabet
提出了一种利用强化学习（RL）计算单股有限状态信道反馈容量的新方法。反馈能力是以前估计使用其配方作为一个马尔可夫决策过程（MDP）与动态规划（DP）算法。然而，它们的计算复杂性随着信道字母表的大小呈指数增长。因此，我们使用RL，特别是它的能力，参数化价值函数和政策与神经网络，数字评估的反馈能力的信道具有较大的字母大小。RL算法的结果是反馈能力的数值下界，其用于揭示最优解的结构。该结构由一个基于图的辅助随机变量来建模，该辅助随机变量被用来推导具有对偶界的反馈容量的解析上界。容量计算的结论是通过测试是否是BCJR不变的上限验证的紧密性。我们证明了这种方法的伊辛通道与任意字母大小。对于小于或等于8的字母表大小，我们推导出容量的解析解。接下来，数值解的结构被用来推导出一个简单的编码方案，实现了反馈能力，并作为一个更大的字母的下限。对于大于8的字母表大小，我们提出了一个上界的反馈能力。对于一个渐近大的字母大小，我们提出了一个渐近最优编码方案。
2020-08-18 cs.IT math.IT
Signal Design for AF Relay Systems using Superposition Coding and Finite-Alphabet Inputs
研究了高斯放大转发（AF）中继系统中的信号设计问题，在中继端采用叠加编码（SC），使得信源和中继在两个时隙内传输各自的信息。在源端和中继端采用实用的正交幅度调制（QAM）星座。为了提高系统的误码性能，我们优化的权重系数采用在源和中继，以最大限度地提高接收复合星座的最小欧氏距离，受到各自的平均功率约束。所制定的优化问题是一个混合的连续-离散的，是非平凡的解决一般。通过诉诸打孔Farey序列，我们设法获得最佳的解决方案，制定的问题，首先划分成一个有限数量的子区间的整个可行区域，然后采取最大的所有可能的子区间。仿真结果表明，我们所提出的设计基于SC优于使用传统的时分多址接入（TDMA）的性能。
2019-12-17 cs.IT eess.SP math.IT
Efficient Interactive Coding Achieving Optimal Error Resilience Over the Binary Channel
给定计算Alice和Bob的私有输入$x, y$的函数$f(x, y)$的无噪声协议$π_0$，交互式编码的目标是构造计算$f$的错误弹性协议$π$，使得即使通信的某部分被对抗性地破坏，双方仍然学习$f(x, y)$。理想情况下，所得到的方案$π$应该是正速率的、计算高效的，并且实现最佳的差错恢复。虽然在大字母表上的交互式编码是很好理解的，但在二进制字母表上的情况仍然是模糊的。目前，在二进制字母表上实现比大字母表方案的平凡适应更高的差错恢复能力的已知方案仍然是次优差错恢复能力[EKS 20]，或者是具有指数通信复杂性的最优差错恢复能力[GZ 22]。在这项工作中，我们构建了一个计划，实现最优的所有三个参数：我们的协议是积极的速率，计算效率高，弹性最佳的$\frac16 - ε$对抗错误。我们的协议采用了一种新型的代码，我们称之为分层代码，这可能是独立的利益。像树代码一样，分层代码允许编码器以在线方式编码消息，但定义在图上而不是树上。
2022-07-03 cs.DS cs.IT math.IT
