Universal Weak Variable-Length Source Coding on Countable Infinite Alphabets
基于可数无限字母表上的通用信源编码是不可行的这一事实，本文引入了几乎无损信源编码的概念。类似于Han（IEEE TIT，2000，46，1217-1226）研究的弱可变长度信源编码问题，几乎无损信源编码旨在放松无损逐块假设以允许随着块长度趋于无穷大而渐进地消失的平均每字母失真。在这种设置中，我们一方面表明，香农熵的特点是最小可实现的速率（类似于有限字母表源的情况下），而另一方面，几乎无损的通用信源编码成为可行的有限熵的固定无记忆源与无限字母表的家庭。此外，我们研究了几乎无损普适性的更强概念，该概念要求平均每个字母失真一致收敛到零，其中我们为所谓的包络分布族建立了实现它的充分必要条件。这个条件与强极大极小存在的充分必要条件相同（无损）通用源代码的家庭信封分布。最后，我们表明，一个几乎无损的编码方案提供了更快的收敛速度的（极大极小）冗余相比，众所周知的信息半径开发的无损情况下的代价容忍的非零失真消失为零的块长度的增长。这表明，即使无损的普遍性是可行的，几乎无损的计划可以提供不同的制度上的收敛率（最坏情况下）冗余（最坏情况下）失真。
2021-11-26 cs.IT math.IT
On Universal D-Semifaithful Coding for Memoryless Sources with Infinite Alphabets
本文研究可数无限字母表（$\infty$ -alphabets）上平稳无记忆信源的变长固定失真通用信源编码（或称D-半忠实信源编码）问题。这项工作的主要结果提供了一组充分条件（从弱到强），以获得弱极大极小普适性，强极大极小普适性，以及相应的可实现的收敛率的最坏情况下的冗余的家庭的固定无记忆源的密度是由一个信封功能（或信封家庭）的$\infty$ -字母表。这些结果的一个重要含义是，通用的D-半忠实信源编码是不可行的完整的家庭的固定和无记忆的来源$\infty$ -字母表。为了证明这种不可行性，一个充分条件的不可能性的包络族。有趣的是，它与无损（可变长度）通用信源编码中众所周知的不可能条件相匹配。更一般地说，这项工作提供了一个简单的描述是什么需要实现通用的D-半忠实编码的一个家庭的分布$Λ$。这简化为找到满足两个渐近要求的在不同块长度处的乘积空间的量化的集合-反映固定失真限制：第一个是关于$Λ$的通用量化条件，第二个是$Λ$的消失信息半径（I-半径）条件，这让人想起无损通用信源编码的已知条件。
2021-07-11 cs.DS cs.IT math.IT
Alphabetic Coding with Exponential Costs
字母二叉树公式适用于需要在某个机会窗口终止之前通过顺序搜索确定结果的问题。不是找到最小化$\sum_{i=1}^n w(i) l(i)$的决策树，该变体涉及针对给定的$a \in (0,1)$最小化$\log_a \sum_{i=1}^n w(i) a^{l(i)}$。本文介绍了一种在多项式时间和空间中寻找最优解的动态规划算法，并指出传统上用于提高相关问题优化速度的方法，如Hu-Tucker方法，在此问题上是失败的。因此，本文还介绍了两种近似算法，它们可以在线性时间（对于一个）或$\order(n \log n)$时间（对于另一个）中找到次优解，并具有相关的编码冗余边界。
2009-03-28 cs.DS cs.IT math.IT
Universal channel coding for general output alphabet
针对连续或离散输出字母表，本文提出两类通用信道码，分别实现错误概率指数衰减与 ε-容量及二阶编码速率，并借助 Rényi 相对熵和信息谱方法给出统一分析。
2017-06-30 cs.IT math.IT
Capacity of Sum-networks for Different Message Alphabets
和网络是一个有向无环网络，其中所有终端节点都要求在源节点处观察到的独立信息的“和”。许多特性的研究多单播网络通信问题也持有和网络，由于这两个问题的实例之间的一个已知的减少。我们的主要结果是，不同于多个单播网络，和网络的编码能力是依赖于消息字母表。我们证明了这一点，使用的建设过程中，并表明，选择的消息字母表可以减少编码能力的总和网络从$1$接近$0$。
2015-04-21 cs.IT math.IT
Markov Lemma for Countable Alphabets
强典型性和马尔可夫引理已被用于多终端信源编码定理的证明中。由于这两种工具只能应用于有限字母表，所以它们所证明的结果受到同样的限制。近年来，一种新的典型性概念被提出，即统一典型性。它既可以应用于有限字母表，也可以应用于可数无限字母表，并且保持了渐近均分性和强典型性的结构性质。在本文中，统一的典型性是用来推导出一个版本的马尔可夫引理，它的工作都有限或可数无限的字母，使许多结果在多端信源编码可以很容易地扩展。此外，一个简单的方法来验证一些序列是否是联合典型的。
2010-06-02 cs.IT math.IT
Curves on torus layers and coding for continuous alphabet sources
在本文中，我们考虑的问题，发送一个连续字母离散时间源在AWGN信道。为此目的的良好曲线的设计依赖于球形码的几何性质和$N$维晶格的投影。我们提出了一个建设性的计划的基础上的一组曲线的表面上的一个2N维球体和目前的比较与以前的一些作品。
2012-05-04 cs.IT math.DG math.IT
Information Bottleneck on General Alphabets
我们严格证明了一个信源编码定理，可能被认为是民间传说，一个推广到任意字母表的问题的信息瓶颈方法的动机。对于一般的随机变量$(Y, X)$，我们基本上表明，对于一些$n \in \mathbb{N}$，一个功能$f$的速率限制$\log|f| \le nR$和$I(Y^n; f(X^n)) \ge nS$存在当且仅当有一个随机变量$U$，使马尔可夫链$Y - X - U$举行，$I(U; X) \le R$和$I(U; Y) \ge S$。证明依赖于既定的离散情况下，并展示了一种技术，提升离散编码定理，以任意字母。
2018-05-01 cs.IT math.IT
Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding
现代数据压缩主要基于两种熵编码方法：霍夫曼编码（HC）和算术/距离编码（AC）。前者要快得多，但近似概率为2的幂，通常导致相对较低的压缩率。后者使用几乎精确的概率-很容易接近理论压缩率极限（香农熵），但代价是更大的计算成本。非对称数字系统（ANS）是一种精确熵编码的新方法，它允许结束速度和速率之间的这种权衡：最近的实现[1]提供了比256大小字母表的HC快大约$50\%$的解码，压缩率类似于AC提供的压缩率。这个优点是由于比AC更简单：使用单个自然数作为状态，而不是两个来表示范围。除了简化重正化，它还允许将给定概率分布的整个行为放入一个相对较小的表中：定义熵编码自动机。对于256大小的字母表，这样的表的存储器成本是几个字节。在选择特定表时有很大的自由度-为此目的使用用加密密钥初始化的伪随机数生成器允许同时加密数据。本文还介绍和讨论了这种新的熵编码方法的许多其他变体，这些变体可以为标准AC、大字母范围编码或近似的准算术编码提供直接的替代方案。
2014-01-06 cs.IT math.IT
Separation of source-network coding and channel coding in wireline networks
本文证明了有线网络中信源网络编码与信道编码的分离。对于这项工作的目的，有线网络是任何网络的独立的，无记忆的，点对点的，有限字母表的信道用于传输相关的来源，无论是losslance或受到失真约束。在推导这一结果时，我们还证明了在具有相关源的一般无记忆网络中，无损和零失真重建是等价的，只要每个源的条件熵给定其他源是非零的。此外，我们将分离结果扩展到连续字母表，点对点信道，如加性高斯白噪声（AWGN）信道的情况。
2012-12-18 cs.IT math.IT
Alphabet Size Reduction for Secure Network Coding: A Graph Theoretic Approach
我们考虑一个通信网络中存在窃听器谁可以访问一个子集的通道，称为窃听集，这是从一个给定的收集窃听集选择。窃听集的收集可以是任意的。安全网络编码是为了防止源信息泄露给窃听者。在安全网络编码中，所需的字母表大小是一个开放的问题，不仅在理论上的兴趣，而且具有实际意义，因为它是密切相关的实施，这种编码方案的计算复杂性和存储要求。在本文中，我们开发了一个系统的图论方法，提高蔡和杨的下界所需的字母表大小的存在安全的网络代码。由此得到的新的下界，它只依赖于网络拓扑结构和收集的窃听集，可以显着小于蔡和杨的下界。一个多项式时间算法设计的新的下界的有效计算。
2016-11-28 cs.DM cs.IT math.CO
Pattern Coding Meets Censoring: (almost) Adaptive Coding on Countable Alphabets
自适应编码面临以下问题：给定一个源类集合，使得集合中的每个类都具有非平凡的极大极小冗余率，我们能否设计一个对集合中的每个类都渐近极大极小的编码？特别是，当集合中的类的联合上没有通用代码时，自适应编码是有意义的。在本文中，我们处理类源在一个无限的字母表，其特征在于由一个控制包络。我们提供了渐近等价的冗余信封类享受定期变化的属性。最后，我们构建了一个计算效率高的在线前缀码，交织的编码的所谓的模式的消息和编码的字典中发现的符号。该代码被证明是自适应的，在一个$\log\log n$的因素，定期变化的信封类的集合。该代码比前面描述的竞争者更简单，冗余更少。与以前的尝试相比，它还涵盖了缓慢变化的包络类的全部范围。
2016-09-01 cs.IT math.IT math.ST
The Undecidability of Network Coding with some Fixed-Size Messages and Edges
我们考虑一个网络编码设置，其中一些消息和边缘具有固定的字母表大小，当我们增加其余消息和边缘的公共字母表大小时，这些字母表大小不会改变。我们证明了决定这样的网络是否接受编码方案的问题是不可判定的。这可以被认为是对网络编码（没有固定大小的消息/边）是不可判定的猜想的部分解决方案。证明，这使得大量使用类比与数字电路，基本上是构建一个数字电路的逻辑门和触发器的网络编码模型，能够模拟任意的图灵机。
2022-02-10 cs.IT math.IT
Capacity and Achievable Rate Regions for Linear Network Coding over Ring Alphabets
网络码的速率是网络消息的块大小与其边缘码字的块大小之比。我们比较了网络的线性容量和可达速率区域使用有限域字母表的任意环和模块字母表的更一般的情况下。对于非交换环，允许双边线性。具体地说，我们证明了以下有向无环网络：（i）有限域上任何网络的线性速率区域和线性容量仅取决于域的特征。此外，任何两个具有不同特征的场对至少一个网络产生不同的线性容量。(ii)当一个给定的有限域的特征除以一个给定的有限环的大小时，每个网络在该环上的线性速率区域包含在该域上的线性速率区域中。因此，任何网络在域上的线性容量至少是它在任何其他相同大小的环上的线性容量。一个类似的结果也适用于模字母表上的线性网络码。(iii)当一个给定的有限域的特征不整除一个给定的有限环的大小时，就有一个网络，它在环上的线性容量严格大于它在域上的线性容量。因此，对于任何有限域，总是存在环，在这些环上，某些网络具有比域上更高的线性容量。
2018-01-29 cs.IT math.IT
Vector Network Coding Based on Subspace Codes Outperforms Scalar Linear Network Coding
本文考虑了基于秩度量码和子空间码的矢量网络编码方案。本文的主要结果是，向量的解决方案可以显着减少所需的字母表的大小相比，最佳的标量线性解决方案相同的组播网络。本文考虑的组播网络有一个源与$h$消息，和向量的解决方案是在一个域的大小为$q$与向量的长度为~ $t$。对于一个给定的网络，设网络具有标量线性解的最小域大小为$q_s$，则向量解和标量线性解之间的字母表大小的间隙定义为$q_s-q^t$。在该贡献中，对于任何$q \geq 2$和任何偶数$h \geq 4$，实现的间隙是$q^{(h-2)t^2/h + o(t)}$。如果$h \geq 5$是奇数，则实现的字母表大小的间隙是$q^{(h-3)t^2/(h-1) + o(t)}$。以前，对于具有非常大量消息的网络，仅显示大小为1的间隙。这些结果意味着最佳标量线性和一些标量非线性网络编码解之间的字母大小的差距相同的组播网络。对于三个消息，我们还展示了矢量网络编码的优势，而对于两个消息，问题仍然是开放的。几个网络被认为是，他们都是众所周知的组合网络的推广和修改。用作这些网络的解决方案的矢量网络码基于子空间码，特别是从秩度量码获得的子空间码。其中一些码形成了新的子空间码族，这就提出了一个新的研究问题。
2018-01-14 cs.IT math.IT
Channel Coding and Lossy Source Coding Using a Constrained Random Number Generator
引入了用于信道编码和有损信源编码的随机编码器，其速率接近基本极限，其中唯一的限制是有损信源编码的信道输入字母表和再现字母表是有限的。随机数，满足一个条件所规定的功能和它的值，用于构建随机编码器。定理的证明是基于函数系综的散列性质，其中的结果被扩展到一般的信道/源和替代公式引入信道容量和率失真区域。由于稀疏矩阵的集合具有散列属性，因此我们可以通过使用稀疏矩阵来构造代码，其中通过假设信道/源是无记忆的，可以使用和积算法来进行编码和解码。
2013-02-05 cs.IT math.IT
Benefiting from Disorder: Source Coding for Unordered Data
字母的顺序在沟通任务中并不总是相关的。本文讨论了阶数无关性对信源编码的影响，给出了信源编码理论的几个主要分支的结果：无损编码，通用无损编码，率失真，高速率量化和通用有损编码。主要结论表明，有一个显着的节省率时，顺序是无关紧要的。具体地，来自有限字母表的n个字母的无损编码需要Theta（log n）比特，并且对于许多可数字母表源，通用无损编码需要n + o（n）比特。然而，没有通用的方案，可以驱动一个强大的冗余措施为零。有损编码的结果包括在各种高速率量化方案中从阶无关性节省速率的分布自由表达式。率失真界给出，它表明，类似的香农下界是松散的，在所有有限的速率。
2007-08-17 cs.IT math.IT
Linear Network Coding over Rings, Part I: Scalar Codes and Commutative Alphabets
固定大小的交换环是准序的，使得任何给定环上的所有标量线性可解网络也是任何高阶环上的标量线性可解网络。作为结果，如果网络在某个有限交换环上有标量线性解，则（i）网络在相同大小的最大交换环上也是标量线性可解的，并且（ii）网络在其上有标量线性解的（唯一）最小交换环是域。我们证明了交换环关于拟序是极大的当且仅当某些网络在该环上是标量线性可解的，但在任何其他相同大小的交换环上都不是。此外，我们证明了极大交换环是由极大环的大小的素因子重数的整数划分所指定的某些域的直积。最后，我们证明了存在唯一的$m$大小的极大交换环当且仅当$m$的每个素因子在$\{1,2,3,4,6\}$中有重数.事实上，只要$p$是素数且$k \in \{1,2,3,4,6\}$，那么唯一的这样一个大小为$p^k$的极大环就是域$GF(p^k)$。然而，对于每个域$GF(p^k)$与$k\not\in \{1,2,3,4,6\}$，总是有一些网络不是标量线性可解的域，但标量线性可解的交换环的大小相同。这些结果意味着，对于交换环上的标量线性网络编码，字段总是可以使用时，字母表的大小是灵活的，但替代环时，字母表的大小是固定的。
2016-08-08 cs.IT math.IT
Joint Source-Channel Coding on a Multiple Access Channel with Side Information
我们考虑多个分布式相关源在多址接入信道（MAC）的源和解码器的边信息的传输问题。源-通道分离不适用于此通道。给出了具有给定畸变的信源传输的充分条件。源和/或信道可以具有连续的字母表（因此高斯源和高斯MAC是特殊情况）。作为特例得到了以前的各种结果。本文还提出了几种适用于离散信源和离散/连续字母信道的信源-信道编码联合方案。
2009-04-26 cs.IT math.IT
Linear Network Coding over Rings, Part II: Vector Codes and Non-Commutative Alphabets
我们证明了以下关于网络在各种字母表上的线性可解性的结果。对于任何网络，以下是等价的：（i）在某个有限域上的向量线性可解性，（ii）在某个环上的标量线性可解性，（iii）在某个模上的线性可解性。类似地，以下是等价的：（a）有限域上的纯量线性可解性，（b）交换环上的纯量线性可解性，（c）环是交换的模上的线性可解性。当任何网络在一个模上线性可解时，一个最小的这样的模出现在该网络在域上的向量线性解中。如果一个网络在某个非交换环上线性可解，但在任何交换环上都不可解，那么这样一个非交换环的大小必须至少为$16$，并且对于某些网络，这个界限是可以达到的。证明了一类无限网络族，其中每个网络在某个非交换环上是标量线性可解的，但在任何交换环上都不是。当$p$是素数且$2 \le k \le 6$时，如果一个网络在某个大小为$p^k$的环上是标量线性可解的，那么它在域$GF(p)$上也是$k$维向量线性可解的，但反过来不一定成立。当环是交换环时，这个结果推广到所有的$k\ge 2$.
2016-08-08 cs.IT math.IT
Compressing Multisets with Large Alphabets using Bits-Back Coding
Meta AI；University of Toronto（多伦多大学）；Vector Institute for AI（向量人工智能研究所）；University of Amsterdam（阿姆斯特丹大学）
当前以最佳速率压缩多集合的方法具有与字母表大小线性缩放的计算复杂性，使得它们在许多现实世界设置中太慢而不实用。我们将展示如何将序列的压缩算法转换为一个多集，以换取一个额外的复杂性，是准线性的序列长度。这使我们能够以最佳速率压缩多组可交换符号，同时计算复杂性与字母表大小解耦。关键的见解是避免直接编码多集，而是压缩代理序列，使用一种称为“位回编码”的技术。我们证明了实验上的任务，这是棘手的最优速率的方法：压缩多组图像和JavaScript对象表示法（JSON）文件的方法。我们的实验代码可以在https://github.com/facebookresearch/multiset-compression上找到。
2023-02-27 cs.IT cs.LG eess.SP
Optimal Age over Erasure Channels
以前的作品年龄的信息和擦除通道处理特定的模型和计算的平均年龄或平均峰值年龄为某些设置。在本文中，给定一个源，产生一个字母，每$T_s$秒和一个擦除通道，可以使用每$T_c$秒，我们问什么是编码策略，最大限度地减少时间平均年龄的信息，观察员的信道输出招致。我们首先分析的情况下，源字母和通道输入字母具有相同的大小。我们证明了一个平凡的编码策略是最佳的，可以推导出一个封闭的形式的年龄表达式。然后，我们分析的情况下，字母有不同的大小。我们使用一个随机编码参数绑定的平均年龄和使用随机码实现的平均年龄收敛到线性分组码的最佳平均年龄的源字母表变得大。
2021-10-20 cs.IT math.IT
Generalized Independent Component Analysis Over Finite Alphabets
独立分量分析（ICA）是一种统计方法，用于将可观测的多维随机向量转换为尽可能相互独立的分量。通常ICA框架假设一个模型，根据该模型生成观测值（例如具有加性噪声的线性变换）。有限域上的ICA是ICA的一种特殊情况，其中观测值和独立分量都在有限字母表上。在这项工作中，我们考虑了这个框架的推广，在这个框架中，一个观察向量被分解为它的独立组件（尽可能多），没有事先假设它的生成方式。这种推广也被称为巴洛的最小冗余表示问题，被认为是一个开放的问题。我们提出了几个定理，并表明，这个NP困难的问题可以准确地解决了一个分支定界搜索树算法，或紧密近似的一系列线性问题。我们的贡献为Barlow问题提供了第一个有效且有建设性的解决方案。最小冗余表示（也称为阶乘码）有许多应用，主要在神经网络和深度学习领域。二进制ICA（BICA）也被证明有几个领域的应用，包括医疗诊断，多簇分配，网络断层扫描和互联网资源管理。在这项工作中，我们表明这种配方进一步适用于多学科的信源编码，如预测编码，分布式信源编码和编码的大字母来源。
2015-08-20 cs.IT math.IT
Abelian Group Codes for Source Coding and Channel Coding
本文研究了任意离散（有限字母表）无记忆信源的有损信源编码问题以及任意离散（有限字母表）无记忆信道的信道编码问题的阿贝尔群码的渐近性能。对于信源编码问题，我们推导出一个可实现的率失真函数，其特征在于在一个单字母的信息理论的形式使用阿贝尔群码的合奏。当底层群是场时，它简化为对称率失真函数。同样，对于信道编码问题，我们发现了一个可实现的速率，其特征在于在一个单字母的信息理论的形式使用组码。当底层组是字段时，这简化为通道的对称容量。我们计算率失真函数和可实现的速率为几个例子的来源和渠道。由于所考虑的源和通道的非对称性，我们的分析使用了信息论和群论工具的协同作用。
2013-05-07 cs.IT math.IT
More Efficient Algorithms and Analyses for Unequal Letter Cost Prefix-Free Coding
有大量的文献致力于寻找一个最佳的（最小成本）前缀免费代码与不等的字母成本编码字母表的大小的问题。虽然没有已知的多项式时间算法来最优地解决它，但有许多好的算法都提供了最优的附加误差。这些算法中的附加误差通常与最大编码字母大小成线性关系。本文的动机是寻找最佳的代码时，编码字母表是无限的问题。由于最大的字母成本是无限的，前面的分析可能会给出无限的误差界。我们提供了一个新的算法，工程与无限的编码字母。当限制到有限字母表的情况下，我们的算法往往提供更好的误差界比以前已知的最好的。
2007-05-03 cs.DS cs.IT math.IT
Joint fixed-rate universal lossy coding and identification of continuous-alphabet memoryless sources
在连续字母表无记忆信源的固定速率有损编码环境下，考虑了联合通用信源编码和识别问题。对于一类广泛的有界失真测度，证明了任何紧参数化的$\R^d$ -值i.i.d.源的绝对连续分布，满足适当的平滑度和Vapnik-Chervonenkis学习条件，承认一个联合计划的通用有损块编码和参数估计，这样，当块长度$n$趋于无穷大，开销每字母率和失真冗余收敛到零，分别为$O(n^{-1}\log n)$和$O(\sqrt{n^{-1}\log n})$。此外，有源源可以在解码器处被确定为半径为$O(\sqrt{n^{-1} \log n})$的球，在变距离中，渐近地几乎肯定。该系统具有有限的内存长度等于块的长度，并可以被认为是一个时不变的非线性滤波器的块的应用程序与初始条件确定从前一个块。与现有的几个通用矢量量化方案，其中不包括参数估计明确的比较，并概述了无限失真措施的扩展。最后，有限的混合类和指数家庭的参数源承认联合通用的压缩和建模方案的研究在这里给出明确的例子。
2007-05-17 cs.IT cs.LG math.IT
Joint universal lossy coding and identification of stationary mixing sources with general alphabets
Beckman Institute for Advanced Science and Technology, University of Illinois（伊利诺伊大学贝克曼先进科学技术研究所）；Duke University（杜克大学）
我们考虑的问题，联合通用可变速率有损编码和识别的参数类的固定$β$混合源一般（波兰）字母。压缩性能是衡量的拉格朗日，而识别性能是衡量的变化之间的距离真实源和估计源。假设源以足够快的速率混合并满足一定的平滑性和Vapnik-Chervonenkis可学习性条件，则对于有界度量失真，存在用于联合有损压缩和识别的通用方案，其拉格朗日冗余收敛到零，如块长度$n$趋于无穷大时的$\sqrt{V_n \log n /n}$，其中$V_n$是由源的$n$维边缘分布定义的某类决策区域的Vapnik-Chervonenkis维数;此外，对于每个$n$，解码器可以识别活动源的$n$维边缘，直到在变距离中的半径为$O(\sqrt{V_n\log n/n})$的球，最终概率为1。结果补充了几个例子的参数源满足正则性条件。
2009-01-13 cs.IT cs.LG math.IT
Distributed Joint Source-Channel Coding on a Multiple Access Channel with Side Information
我们考虑多个分布式信源在多址接入信道（MAC）上的传输问题，在信源和解码器处具有边信息。源-通道分离不适用于此通道。给出了具有给定畸变的信源传输的充分条件。源和/或信道可以具有连续的字母表（因此高斯源和高斯MAC是特殊情况）。作为特例得到了以前的各种结果。我们还提供了几个很好的联合信源-信道编码方案，用于离散/连续信源和离散/连续字母信道。信道反馈和衰落也被认为是。关键词：多址信道，边信息，有损联合信源-信道编码，反馈信道，衰落信道.
2008-03-10 cs.IT math.IT
Information-Theoretic Viewpoints on Optimal Causal Coding-Decoding Problems
在本文中，我们考虑一个相互作用的两个代理顺序决策问题，由一个马尔可夫源过程，因果编码反馈，因果解码器。出于希望促进控制和信息论之间的联系，我们增加了标准的制定考虑一般字母和成本函数的操作当前和以前的符号。使用动态规划，我们提供了一个结构性的结果，从而存在一个最佳方案，适当的充分的统计数据。我们强调一个例子，其中解码器字母表位于源字母表上的信念空间中，并且附加成本函数是与顺序信息增益有关的对数似然比。我们还考虑逆最优控制问题，其中一个固定的编码器/解码器对满足统计条件被证明是最佳的一些成本函数，使用概率匹配。我们提供的例子，这个框架的适用性与反馈，隐马尔可夫模型和非线性滤波器，分散控制，脑机接口，排队论的通信。
2011-02-01 cs.IT math.IT
Fast Codes for Large Alphabets
我们解决的问题，构建一个快速的无损代码的情况下，当源字母表是大的。新方案的主要思想可以描述如下。我们将概率较小的字母分组为子集（充当超级字母），并仅对这些子集使用耗时的编码，而子集中的字母具有相同的代码长度，因此可以快速编码。所描述的方案可以应用于具有已知和未知统计量的源。
2005-04-03 cs.IT math.IT
Signal Design for AF Relay Systems using Superposition Coding and Finite-Alphabet Inputs
研究了高斯放大转发（AF）中继系统中的信号设计问题，在中继端采用叠加编码（SC），使得信源和中继在两个时隙内传输各自的信息。在源端和中继端采用实用的正交幅度调制（QAM）星座。为了提高系统的误码性能，我们优化的权重系数采用在源和中继，以最大限度地提高接收复合星座的最小欧氏距离，受到各自的平均功率约束。所制定的优化问题是一个混合的连续-离散的，是非平凡的解决一般。通过诉诸打孔Farey序列，我们设法获得最佳的解决方案，制定的问题，首先划分成一个有限数量的子区间的整个可行区域，然后采取最大的所有可能的子区间。仿真结果表明，我们所提出的设计基于SC优于使用传统的时分多址接入（TDMA）的性能。
2019-12-17 cs.IT eess.SP math.IT
Efficient Interactive Coding Achieving Optimal Error Resilience Over the Binary Channel
给定计算Alice和Bob的私有输入$x, y$的函数$f(x, y)$的无噪声协议$π_0$，交互式编码的目标是构造计算$f$的错误弹性协议$π$，使得即使通信的某部分被对抗性地破坏，双方仍然学习$f(x, y)$。理想情况下，所得到的方案$π$应该是正速率的、计算高效的，并且实现最佳的差错恢复。虽然在大字母表上的交互式编码是很好理解的，但在二进制字母表上的情况仍然是模糊的。目前，在二进制字母表上实现比大字母表方案的平凡适应更高的差错恢复能力的已知方案仍然是次优差错恢复能力[EKS 20]，或者是具有指数通信复杂性的最优差错恢复能力[GZ 22]。在这项工作中，我们构建了一个计划，实现最优的所有三个参数：我们的协议是积极的速率，计算效率高，弹性最佳的$\frac16 - ε$对抗错误。我们的协议采用了一种新型的代码，我们称之为分层代码，这可能是独立的利益。像树代码一样，分层代码允许编码器以在线方式编码消息，但定义在图上而不是树上。
2022-07-03 cs.DS cs.IT math.IT
On Multi-Channel Huffman Codes for Asymmetric-Alphabet Channels
零误差单通道信源编码在过去的几十年里得到了广泛的研究。然而，其自然的多通道推广没有得到很好的研究。虽然十年前研究了具有多个字母表信道的特殊情况，但是在这种设置中的码在数据压缩方面没有单信道码的优势，使得它们在大多数应用中毫无价值。在本文中，我们打破了僵局，表明它是可能的，以击败单通道源代码在压缩假设不对称字母表通道。本文对单通道信源编码中的几个经典结果进行了多通道模拟，如多通道Huffman码是最优树可译码码。我们还展示了一些证据，找到一个有效的多通道霍夫曼码的建设可能是困难的。然而，我们提出了一个次优的代码结构，其冗余度保证不大于最佳的单通道源代码。
2021-05-08 cs.IT math.IT
Coding for Two-User SISO and MIMO Multiple Access Channels
本文计算了有限复数输入字母和连续输出的两用户SISO高斯多址接入信道（GMAC）的星座约束（CC）容量域。当两个用户使用相同的代码字母表时，众所周知，字母表之间的适当旋转为接收机提供了唯一的可解码性。对于这样的设置，提出了一种度量来计算字母之间的旋转角度，使得CC容量区域被最大地放大。随后，基于网格编码调制（TCM）的代码设计的两个用户的GMAC与$M$-PSK和$M$-PAM字母对的$M$的任意值，它被证明，对于一定的旋转角度，Ungerboeck标签上的每个用户的网格最大化的保证平方欧几里德距离的\textit{sum trellis}。因此，这样的标记方案可以系统地用于构造用于两个用户GMAC的网格码对，以实现接近信道的总容量的总速率。更重要的是，它是第一次示出的ML解码复杂性在目的地显着降低时，$M$-PAM字母对采用\textit{almost}没有损失的总和容量。\indent还考虑了在两个用户处具有$N_{t}$天线并且在目的地处具有单个天线的两个用户多输入多输出（MIMO）衰落MAC，其中假设目的地具有信道状态信息的完全知识并且两个用户仅具有其信道的相位分量的完全知识。对于这样的设置，两个不同的类的空时分组码（STBC）对来自众所周知的类的真正的正交设计提出了这样的STBC对是信息无损的，并具有低ML解码复杂度。
2009-02-09 cs.IT math.IT
Capacity Approaching Coding for Low Noise Interactive Quantum Communication, Part I: Large Alphabets
我们考虑在噪声信道上实现两方交互式量子通信的问题，如果我们希望充分获得通信的量子优势，这是一个必要的努力。对于一个任意协议的$n$消息，设计了一个无噪声qudit信道的$\mathrm{poly}(n)$大小的字母表，我们的主要结果是一个模拟方法，失败的概率小于$2^{-Θ(nε)}$，并使用qudit信道在相同的字母表$n\left(1+Θ\left(\sqrtε\right)\right)$倍，其中的一个$ε$分数可以被破坏adversarially。因此，模拟的能力达到领先的顺序，我们推测，它是最佳的$\sqrtε$长期的常数因子。此外，仿真是在一个模型中，不需要预先共享的资源，如通信双方之间的随机性或纠缠。我们的工作改进了以前已知的最好的量子结果，其中开销是非显式的大常数[Escherard等人，FOCS'14]用于低$ε$。
2020-01-09 cs.CC cs.DS cs.IT
On Precision - Redundancy Relation in the Design of Source Coding Algorithms
我们研究了信源概率的有限精度表示对经典信源编码算法（如Shannon、Gilbert-Moore或算术码）效率的影响。特别是，我们建立了以下简单的连接之间的冗余$R$和位数$W$所需的表示源的概率在计算机的内存（$R$被假定为小）：\begin{equation*} W \lesssim η\log_2 \frac{m}{R}, \end{equation*}其中$m$是基数的源的字母表，和$η\leqslant 1$是一个实现特定的常数。在二进制字母表（$m=2$）的情况下，我们表明，存在代码的$η= 1/2$，并在$m$ -ary的情况下（$m > 2$），我们表明，存在代码的$η= m/(m+1)$。然而，在一般情况下（包括依赖于频率计数器的渐进更新的设计），我们表明，$η= 1$。本文还讨论了这些结果对信源编码算法设计的实用性。
2007-12-01 cs.IT math.IT
Molecular Arithmetic Coding (MoAC) and Optimized Molecular Prefix Coding (MoPC) for Diffusion-Based Molecular Communication
针对适配分子通信的Huffman编码非最优的问题，提出优化分子前缀编码MoPC、分子算术编码MoAC及兼具唯一可译性的MoAPC，经验证压缩与误码性能更优，为纳米尺度分子通信的信源压缩提供新方案。
2024-10-06 cs.IT math.IT
Enumeration of sequences with large alphabets
本文主要借鉴Öktem & Astola的\cite{Oktem99}分层枚举编码和Schalkwijk的二进制序列上的\cite{Schalkwijk72}渐近最优组合码的思想，研究$σ$-元序列的有效枚举编码方案。通过观察，不同的$σ$ -维向量的数量具有$n$的内部总和，其中每个维度中的值都在范围$[0...n]$是$K(σ,n) = \sum_{i=0}^{σ-1} {{n-1} \choose {σ-1-i}} {σ \choose {i}}$，我们建议通过枚举表示$C$向量，并提出必要的算法来执行这项任务。我们证明$\log K(σ,n)$需要大约$ (σ-1) \log (σ-1) $比天真的$(σ-1)\lceil \log (n+1) \rceil$表示相对较大的$n$较少的位，并检查不同的字母表大小的实验结果。我们扩展的基本计划的枚举编码的$σ$ -ary序列通过引入一个新的方法，为大字母。我们的实验表明，新引入的技术是优于基本方案，通过提供DNA序列上的实验。
2012-11-13 cs.DM cs.DS cs.IT
Expansion Coding for Channel and Source Coding
提出了一种通用的编码扩展方法，该方法可以将模拟信道编码和压缩模拟源的高度非平凡问题简化为一组更简单的子问题，即离散信道编码和压缩离散源。更具体地说，本文的重点是加性指数噪声（AEN）信道，和有损压缩的指数源。利用这些通道（源）的基本可分解属性，建议的扩展方法允许映射这些问题的编码在并行通道（分别，源），其中每个级别被建模为一个独立的编码问题在离散字母表。扩展后的优化问题的任何可行解对应于原始问题的可实现方案。利用这种映射，即使是最佳的解决方案是难以表征的情况下，它示出的扩展编码方案仍然表现良好，适当的参数选择。更具体地说，理论分析和数值结果表明，扩展编码实现了AEN信道的容量在高信噪比制度。对于有损压缩，在低失真区，扩展编码可达到的率失真对接近香农极限。值得注意的是，通过使用最初为离散字母表设计的具有低编码和解码复杂度的容量实现码，例如极化码，所提出的扩展编码方案允许设计低复杂度的模拟信道和源代码。
2015-05-20 cs.IT math.IT
Source Coding with Fixed Lag Side Information
我们考虑在解码器处具有固定滞后边信息的信源编码。我们重点研究了Pradhan提出的带前馈的信源编码（带反馈的信道编码的对偶）对应的具有单位滞后的理想边信息的特殊情况。我们使用这种对偶性来开发一种线性复杂度算法，该算法实现了任何无记忆有限字母表源和失真度量的率失真界。
2004-10-04 cs.IT math.IT
Bounds on the Entropy of Patterns of I.I.D. Sequences
独立同分布（i.i.d.）来源是派生的。模式是一个索引序列，它包含所有连续的整数索引，这些索引按第一次出现的递增顺序排列。如果生成序列的源的字母表是未知的，则可以利用对未知字母表符号进行编码的不可避免的成本来创建序列的模式。这种模式本身又可以被压缩。这里导出的边界是i.i.d.的函数。源熵、字母大小和字母概率。它表明，对于大的字母，模式熵必须从i.i.d.一个.在许多情况下，减少是更显着的比通用的编码冗余界限在以前的作品。模式熵被限制在两个界限之间，这两个界限取决于字母概率在概率空间中的排列。对于其大小可能大于编码模式长度的非常大的字母，所有低概率字母被打包到一个符号中。模式熵是上界和下界的独立同分布。新压缩字母表的熵。校正项，这通常是可以忽略不计的，提供了上限和下限。
2005-04-13 cs.IT math.IT
Nonparametric Decentralized Sequential Detection via Universal Source Coding
当原假设下的分布是完全已知的，而备择假设对应于其他未知分布时，我们考虑非参数或泛序贯假设检验问题。这些算法主要是从认知无线电中的频谱感知和无线传感器网络中的入侵检测中得到的。我们使用易于实现的通用无损源代码，提出简单的算法，这样的设置。该算法首次提出了离散字母表。理论上研究了它们的性能和渐近性质。后来这些扩展到连续字母表。它们的性能与两个著名的通用源代码，Lempel-Ziv码和Krichevsky-Trofimov估计与算术编码器进行了比较。这些算法也比较了使用各种其他非参数估计的测试。最后，还提出了一种利用空间分集的分散版本。分析了它的性能，证明了它的渐近性质。
2013-08-29 cs.IT math.IT
Coding for Ordered Composite DNA Sequences
Technion - Israel Institute of Technology（以色列理工学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对DNA存储信息容量提升需求，提出新型复合DNA信道模型，研究二进制下替换与单删除错误的复合序列重构，定义两类纠错码并给出界，还构造了单删除场景的系统码，探讨了信道容量开放问题。
2025-10-30 cs.IT math.IT
Sequential Recurrence-Based Multidimensional Universal Source Coding of Lempel-Ziv Type
我们定义了一个算法，分析多维数组顺序成主要是不重复的，但嵌套的多维子数组的大小不断增加，并表明所产生的子块指针编码器压缩几乎每一个实现的任何有限字母遍历过程$\mathbb{Z}_{\geq0}^d$的熵，在极限。
2014-08-19 cs.IT math.IT
Distributed Joint Source-Channel Coding for Functions over a Multiple Access Channel
在本文中，我们提供了相关数据的功能在多址信道（MAC）的有损传输的充分条件。所得的条件可作为Yamamoto结果的推广.我们还获得了有效的联合信源-信道编码方案，用于传输离散和连续字母表信源以恢复函数值。关键词：联合信源-信道编码，图着色，Lipschitz函数，相关信源.
2009-08-09 cs.IT math.IT
Source Polarization
介绍了光源极化的概念并进行了研究。这补充了早期关于信道极化的工作。Slepian-Wolf编码的应用也被认为是。本文仅限于二进制字母表的情况。扩展的结果，非二进制字母表进行了简要讨论。
2010-04-28 cs.IT math.IT
Term Coding: An Entropic Framework for Extremal Combinatorics and the Guessing--Number Sandwich Theorem
Queen Mary University of London（伦敦大学玛丽女王学院）
术语编码通过熵框架解决极值组合学问题，利用猜测数夹逼定理与图熵关联，通过熵和多项式族方法计算最大代码大小。
2026-09-01 cs.IT math.IT
A Practical Coding Scheme for the BSC with Feedback
我们提供了一个实际的实施橡胶方法Ahlswede等人。二进制字母。其思想是通过为特定的$k$阶马尔可夫链设计的算术解码器在其中创建“骨架”序列。对于随机二进制对称信道，我们证明了该方案在一定参数下是强最优的。
2021-02-04 cs.IT math.IT
About Adaptive Coding on Countable Alphabets: Max-Stable Envelope Classes
本文研究可数无限字母表上平稳无记忆信源的无损通用信源编码问题。如果不限制希望具有普遍性的源的类别，这项任务通常是无法实现的。在我们以前的工作的基础上，我们提出了一个共同的主导信封的特点是自然家庭的来源。我们特别强调了自适应性的概念，这是一种能力，以及一个先知知道信封，而不是实际上知道它。这是密切相关的概念，分层通用信源编码，但重要的区别是，家庭的信封类不是离散索引，不一定嵌套。我们的贡献是扩展类的信封，自适应通用信源编码是可能的，即包括最大稳定（重尾）信封，这是优秀的模型，在许多应用中，如自然语言建模。我们推导出一个极大极小下界的冗余任何代码上的信封类，包括一个甲骨文知道信封。然后，我们提出了一个建设性的代码，不使用知识的信封。该代码计算效率高，并被构造为使用{E}扩展{T}阈值进行{A}uto-{C}ensoring，因此我们称之为\textsc{ETAC} -代码。我们证明了\textsc{ETAC} -代码实现的最小最大冗余度的下界内的一个因素对数的序列长度，因此可以作为一个近自适应代码的重尾信封的家庭。对于有限和轻尾包络的惩罚甚至更少，相同的代码密切遵循以前的结果，明确提出了轻尾假设。我们的技术成果是建立在规则变分理论和测量集中的方法之上的。
2015-04-17 cs.IT math.IT math.ST
On the Second-Order Achievabilities of Indirect Quadratic Lossy Source Coding
本文研究特定信源模型下间接二次有损信源编码的二阶可达性，利用失真倾斜信息技术建立二阶可达性界，并推广至带观测信源重构的情形，证明所得界限与有限字母表对应物形式一致且二阶紧致。
2024-10-13 cs.IT math.IT
Rate-Constrained Simulation and Source Coding IID Sources
本文给出了无记忆信源的信源编码和速率受限模拟的渐近最优滑动块或固定码的必要条件，并用于激励网格编码信源编码和速率受限模拟的设计技术。代码结构与经典的随机编码参数以及“假过程”方法和字母表约束方法具有直观的相似性。实验证据表明，该方法提供了可比的或优越的性能与以前公布的方法相比，常见的例子，有时显着的利润率。
2011-02-23 cs.IT math.IT
Renyi to Renyi -- Source Coding under Siege
一种新颖的无损信源编码范例适用于具有低比特率的不可靠无损信道的问题，其中在通信终止之前需要发送重要消息。这一范例可以应用到阿尔弗雷德·雷尼（Alfred Renyi）对古代围城的二手描述中，其中一名间谍被派去侦察敌人，但被抓获。逃跑后，这名间谍回到基地，无法说话，也无法写作。他的指挥官问了他一些问题，他可以点头或摇头回答，堡垒就用这些信息保卫起来。Renyi在讲述这个故事时参考了前缀编码，但最大化围困场景中的生存概率与最小化预期码字长度的传统信源编码目标不同，但又相关。不是找到最小化期望码字长度$\sum_{i=1}^n p(i) l(i)$的码，而是围攻问题涉及对于已知$θ\in (0,1)$最大化$\sum_{i=1}^n p(i) θ^{l(i)}$。当对码字没有限制时，这个问题可以使用霍夫曼编码的已知推广来解决。最佳解决方案的编码范围是函数的Renyi熵，除了已知的界限，新的界限推导出这里。这个问题的几何约束版本在搜索树和诊断测试中有应用。一种新的动态规划算法-基于最古老的已知算法为传统的字母问题-优化这个问题在$O(n^3)$时间和$O(n^2)$空间，而两个新的近似算法可以找到一个次优的解决方案更快：一个在线性时间，另一个在$O(n \log n)$。编码界限的字母版本的这个问题也提出了。
2006-05-22 cs.DS cs.IT math.IT
Two-Dimensional Source Coding by Means of Subblock Enumeration
一种经由子串枚举（CSE）的无损压缩技术获得压缩比以及用于一维（1D）源的流行无损压缩器。CSE利用从输入源的圆形串构建的概率模型来对源进行编码，CSE通过将二维（2D）源的一行像素处理为扩展字母表的符号而适用于诸如图像的2D源。在CSE编码过程的初始步骤中，我们需要输出扩展字母表中所有符号的出现次数，因此当源的大小变大时，时间复杂度呈指数增长。为了降低时间复杂度，我们提出了一种新的CSE，它可以编码一个二维源在逐块，而不是逐行。所提出的CSE利用输入2D源的平坦环面作为用于编码源的概率模型，而不是源的圆形串。此外，我们分析了建议的CSE一般源的平均码字长度的限制。
2017-01-24 cs.IT math.IT
Multiterminal Source Coding under Logarithmic Loss
我们考虑经典的两个编码器多端信源编码问题，其中失真是在对数损失下测量的。我们提供了一个单一的字母表征的可实现的率失真区域任意相关的源有限字母。在这样做的时候，我们也给率失真区域的$m$编码器CEO问题（也在对数损失）。给出了几个应用实例。
2012-07-11 cs.IT math.IT
