On Multistage Successive Refinement for Wyner-Ziv Source Coding with Degraded Side Informations
我们提供了一个完整的表征的率失真区域的多级连续细化的Wyner-Ziv信源编码问题与退化的边信息在解码器。随后推导出源沿着失真向量连续可细化的充要条件。一个源通道分离定理提供的描述时，发送在独立的通道的多级情况下。此外，我们引入了多退化边信息的广义逐次加细性的概念。这个概念捕捉满足不同边信息的多个失真约束的渐进编码是否与没有渐进要求的编码一样好。给出了广义连续可加细的充要条件。证明了以下两种信源是广义逐次可加细的：（1）高斯信源，其边信息退化;（2）双对称二元信源，其边信息退化为常数。因此，对于这两种情况，可连续细化的失败仅仅是由于在解码器处将出现哪些边信息的固有不确定性，而不是渐进编码要求。
2006-05-02 cs.IT math.IT
Learned layered coding for Successive Refinement in the Wyner-Ziv Problem
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；imec（比利时微电子研究中心）
针对Wyner-Ziv逐次精化编码问题，提出基于循环神经网络的学习型分层编码方法，通过最小化率失真函数变分界训练，性能接近率失真界且可得到分层分箱解。
2023-11-06 cs.IT cs.LG math.IT
Algebra in Algorithmic Coding Theory
School of Engineering and Applied Sciences, Harvard University（哈佛大学本科工程学院与应用科学学院）
本文综述了纠错码中代数的应用，探讨了其在编码构造和算法设计中的作用。
2025-12-16 cs.CC cs.IT math.IT
Successive Refinement of Images with Deep Joint Source-Channel Coding
Imperial College London（伦敦帝国学院）
我们介绍了基于深度学习的通信方法，用于通过无线信道连续细化图像。我们提出了三种不同的策略，用于使用深度JSCC进行渐进式图像传输，具有不同的复杂性-性能权衡，所有这些都基于卷积自动编码器。数值结果表明，深JSCC不仅提供了优雅的退化与信道信噪比（SNR）和改善性能，在低信噪比和低带宽制度相比，最先进的数字通信技术，但也可以成功地学习分层表示，实现性能接近单层计划。这些结果表明，在高斯信道上用深度JSCC编码的自然图像几乎是连续可细化的。
2019-05-28 cs.IT cs.LG math.IT
A Random Variable Substitution Lemma With Applications to Multiple Description Coding
我们建立了一个随机变量替换引理，并使用它来研究细化层在多描述编码中的作用，阐明了几个现有的可实现的多描述率失真区域之间的关系。具体地说，它表明，El Gamal覆盖（EGC）区域是等价的EGC* 区域（一个先行版本的EGC区域），而Venkataramani-Kramer-Goyal（VKG）区域（当专用于2-描述的情况下）是等价的Zhang-Berger（ZB）区域。此外，我们证明了多描述编码与个人和层次的失真约束，在VKG方案的层数可以显着减少时，只有某些加权和率的关注。研究了细化层在可分级编码（多描述编码的一种特殊情况）中的作用。
2009-09-17 cs.IT math.IT
Successive Refinement for Lossy Compression of Individual Sequences
该研究针对单个序列有损压缩的逐次细化问题，在编码器为有限状态机的限定下建立了码率区域外边界，并将思路拓展至多描述编码，提出对应可达性方案。
2025-02-24 cs.IT math.IT
Two-Dimensional Kolmogorov Complexity and Validation of the Coding Theorem Method by Compressibility
我们提出了一个措施的基础上的基本理论概念，算法信息论，提供了一个自然的方法来评估$n$维复杂性的问题，通过使用一个$n$维确定性图灵机。该技术是有趣的，因为它提供了一个自然的算法过程，对称性破缺产生复杂的$n$维结构，从完全对称和完全确定性的计算规则产生的分布模式所描述的算法概率。数学概率还巧妙地将模式的出现频率与其算法复杂度联系起来，从而有效地提供对所生成模式的复杂度的估计。实验验证这些概念的基础上的算法复杂性的估计，表明该措施是稳定的，在面对计算形式主义的一些变化，结果是一致的，使用无损压缩算法时，这两种方法在其适用范围内重叠的结果。然后，我们使用的二维图灵机的集合的输出频率进行分类的基本细胞自动机的时空演化的算法复杂性。
2015-08-26 cs.CC cs.IT math.IT
Broadcast Channel Coding: Algorithmic Aspects and Non-Signaling Assistance
本文研究经典广播信道编码，给出确定性广播信道的多项式时间 (1-e^{-1})^2-近似算法，证明其非信号辅助容量区域不变，并建立一般情形的值查询下界。
2024-12-07 cs.CC cs.IT math.IT
A Derivation of the Asymptotic Random-Coding Prefactor
本文研究了给定速率下随机编码界的次指数前因子。使用改进的Gallager的边界技术，AltuExpense和瓦格纳最近的结果的另一种证明，并将结果扩展到不匹配解码的设置。
2013-10-14 cs.IT math.IT
Universal Random Coding for Successive Refinement of Individual Sequences Based on Lempel-Ziv Complexity
The Viterbi Faculty of Electrical and Computer Engineering Technion - Israel Institute of Technology（以色列理工学院维特比电气与计算机工程学院）
本文将通用随机编码扩展至两阶段逐次精炼设置，基于LZ78复杂度构造无类型编码，证明其可达区域优于有限状态建模方法的姊妹论文结果。
2026-08-26 cs.IT math.IT
Coding-theorem Like Behaviour and Emergence of the Universal Distribution from Resource-bounded Algorithmic Probability
University of Oxford（牛津大学）；LABORES
由于其强大的特性及其作为归纳/推理问题的最佳解决方案的广泛应用，先前在科学文献中被称为“奇迹”，概率（AP）和相关的普遍分布（近似）在科学中是（或应该是）最重要的。在这里，我们调查的出现，出现和收敛的速度，和编码定理的行为，AP在图灵次通用模型的计算。我们调查的经验分布的计算模型在乔姆斯基层次。我们引入的措施，算法的概率和算法的复杂性的基础上资源有限的计算，在以前彻底调查的分布产生的输出分布的图灵机。这种方法允许在计算层次结构的每个级别上对基于算法（Kolmogorov-Chaitin）复杂性的估计进行数值近似。我们证明，所有这些估计是相关的排名，他们收敛的排名和值作为计算能力的函数，尽管计算模型之间的根本差异。在由于有限的资源和物理退化而在图灵普遍水平以下运行的自然过程的背景下，对算法规则产生的自然偏差的调查可能会揭示结果的分布。我们发现，高达60%的简单性/复杂性偏差的分布，即使是最弱的计算模型可以占的概率在其近似的普遍分布。
2018-04-13 cs.AI cs.CC cs.IT
Second-Order and Moderate Deviation Asymptotics for Successive Refinement
我们推导出最佳的二阶编码区域和适度的偏差常数连续细化信源编码与联合过度失真概率约束。我们考虑两种情况：（i）解码器处的离散无记忆源（DMS）和任意失真测量，以及（ii）解码器处的高斯无记忆源（GMS）和二次失真测量。对于DMS与任意失真措施，我们证明了一个可实现的二阶编码区域，使用类型覆盖引理由Kanlis和Narayan和不，Ingber和Weissman。我们证明了逆使用微扰法顾和Effros。当DMS是连续可加细的时，二阶编码区和中偏差常数的表达式被简化且易于计算。对于这种情况下，我们还获得了新的见解相比，单独的过度失真概率被认为是在二阶行为。例如，我们描述了DMS，其中的最佳二阶区域的转变是由一个双变量高斯到一个单变量高斯的特征，随着失真水平的变化。然后，我们考虑一个GMS与二次失真措施。为了证明直接部分，我们利用Verger-Gaugry的球面覆盖定理，以及适当定义的高斯类型类。为了证明逆，我们推广了Kostina和Verdú的单次逆界的点到点有损信源编码。我们注意到，这一证明是适用于一般连续可加细的来源。在证明这两种情况下的中等偏差结果时，我们遵循类似于二阶渐近性的策略，并使用中等偏差原理。
2016-08-26 cs.IT math.IT
Minimum Expected Distortion in Gaussian Layered Broadcast Coding with Successive Refinement
没有信道状态信息（CSI）的发射机希望在慢衰落信道上发送时延受限的高斯信源。源代码是在叠加层中编码的，每一层都连续地细化前一层中的描述。接收器解码由信道实现支持的层，并重建源直到失真。在无限层的连续体的限制下，最小化期望失真的最佳功率分布由一组线性微分方程的解给出，该解是关于衰落分布的密度的。在最佳功率分布中，随着SNR增加，在较高层上的分配保持不变;相反，额外的功率被分配给较低层。另一方面，当带宽比b（每个源符号的信道使用）趋于零时，使预期失真最小化的功率分布收敛到使预期容量最大化的功率分布。虽然可以通过在发射机处获取CSI（CSIT）或通过从独立衰落路径的实现中增加分集来改善预期失真，但是在高SNR下，来自分集的性能益处超过来自CSIT的性能益处，特别是当b较大时。
2007-04-24 cs.IT math.IT
Coding in the fork network in the framework of Kolmogorov complexity
经典信息论（香农熵理论）中的许多陈述在算法信息论（在柯尔莫哥洛夫复杂性的框架中）中有自然的对应物。在本文中，我们讨论了一个简单的例子之间的并行香农和Kolmogorov的理论：我们证明了在设置Kolmogorov复杂性的版本沃尔夫的表征可容许率的叉网络。
2016-05-02 cs.IT math.IT
Distortion Minimization in Gaussian Layered Broadcast Coding with Successive Refinement
没有信道状态信息（CSI）的发射机希望在慢衰落信道上发送时延受限的高斯信源。源代码是在叠加层中编码的，每一层都连续地细化前一层中的描述。接收器解码由信道实现支持的层，并重建源直到失真。通过在源层之间最优地分配发射功率来最小化预期失真。对于两个源层，分配是最佳的，当功率首先分配给较高层的功率上限，仅取决于信道衰落分布，所有剩余的功率，如果有的话，分配给较低层。对于具有凸约束的凸失真代价函数，最小化问题被表述为凸优化问题。在无限层的连续体的极限中，最小期望失真由根据衰落分布的密度的一组线性微分方程的解给出。当带宽比b（每个源符号的信道使用）趋于零时，使预期失真最小化的功率分布收敛到使预期容量最大化的功率分布。虽然可以通过在发射机处获取CSI（CSIT）或通过从独立衰落路径的实现中增加分集来改善预期失真，但是在高SNR下，来自分集的性能益处超过来自CSIT的性能益处，特别是当b较大时。
2009-06-17 cs.IT math.IT
Approximate Gradient Coding via Sparse Random Graphs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
分布式算法经常受到落伍者效应的困扰，系统中最慢的计算节点决定了整体运行时间。最近提出了编码理论技术，通过算法冗余来减轻掉队者。编码计算和梯度编码中的先前工作主要集中在期望输出的精确恢复上。然而，在对噪声鲁棒的应用中，稍微不精确的解决方案是可以接受的，例如通过基于梯度的算法进行模型训练。在这项工作中，我们提出了计算简单的梯度代码的基础上稀疏图，保证快速和近似准确的分布式计算。我们证明，牺牲少量的准确性可以显着增加算法的鲁棒性，掉队。
2017-11-17 cs.DC cs.IT cs.LG
Algorithmic Aspects of Optimal Channel Coding
信息论中的一个中心问题是确定在噪声信道上发送固定数量的消息所能达到的最大成功概率。这是第一次研究的开创性工作香农谁建立了一个简单的表达式表征这个数量的限制多个独立使用的渠道。这里我们考虑仅使用一次通道的一般设置。我们观察到，最大成功概率可以表示为子模函数的最大值。利用这种联系，我们建立了以下结果：1。有一个简单的贪婪多项式时间算法，它计算一个代码，实现最大成功概率的（1-1/e）近似。此外，对于这个问题，它是NP-困难的，以获得一个近似比严格优于（1-1/e）。2.发送者和接收者之间的共享量子纠缠可以将成功概率提高至多1/（1-1/e）倍。此外，如果允许发送方和接收方之间存在任意的非信令盒，则该因子是紧的。3.我们给出了Polyanskiy-Poor-Verdu的元逆的一次性能的紧界。
2016-10-21 cs.DS cs.IT math.IT
Coding for Improved Throughput Performance in Network Switches
网络交换机和路由器需要以挑战最先进的存储器技术的速率提供数据包写入和读取。因此，缩放交换速率通常通过使用多个存储器单元并行化分组I/O来完成。为了提高读取速率，可以在写入时对数据包进行编码，从而在读取时提供更大的灵活性，以实现存储器单元的更高利用率。本文提出了一个详细的研究编码网络交换机，特别是如何设计它们，以最大限度地提高吞吐量的优势，比标准的非编码交换机。为了实现这一目标，本文提供了各种算法和分析工具，以提高和评估吞吐量性能。这项研究最有趣的发现是，在交换机存储器中的数据包的位置是高性能和算法效率的关键。一个特定的放置政策，我们称之为“设计放置”的吞吐量性能和实施的可行性，享受最佳组合。
2016-05-15 cs.IT cs.NI math.IT
Topological Interference Management with Adversarial Topology Perturbation: An Algorithmic Perspective
在本文中，我们考虑动态环境中的拓扑干扰管理（TIM）问题，其中对手扰动网络拓扑以防止利用复杂的编码机会（例如，干涉对准）。专注于一类特殊的网络拓扑结构-弦网络-我们调查的TIM问题的算法方面的对抗性拓扑结构扰动。特别是，给定的敌对扰动边插入/删除，我们提出了一个动态的图着色算法，允许一个常数的重新着色更新对每个插入/删除的边缘，以实现信息理论的最优性。这是一般图重着色的急剧减少，其最佳更新次数与网络的大小成比例，这要归功于弦图类的结构特性的微妙利用。
2022-06-08 cs.IT math.IT
Gradient Coding via the Stochastic Block Model
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
梯度下降及其许多变体，包括小批量随机梯度下降，形成了现代大规模机器学习的算法基础。由于现代数据的大小和规模，梯度计算通常分布在多个计算节点上。不幸的是，这样的分布式实现可能面临由离散节点引起的显著延迟，即，比平均速度慢得多的节点。梯度编码是一种新的技术，通过算法冗余来减轻落伍者的影响。虽然有效，但先前提出的梯度码构造起来可能计算昂贵，不准确或容易受到对抗性掉队者的影响。在这项工作中，我们提出了随机分组码（SBC），一种基于随机分组模型的梯度码。我们表明，SBCs是有效的，准确的，并且在某些设置下，对抗性的掉队者选择变得像在多个社区中检测社区结构一样困难，块随机图模型。
2018-05-25 cs.DC cs.IT cs.LG
One-Shot Coding over General Noisy Networks
本文提出统一的单次编码框架，通过指数过程精炼引理简化多跳含噪网络分析，并给出中继信道与级联信源编码等场景的新可达性界。
2025-08-16 cs.IT math.IT
Correspondence and Independence of Numerical Evaluations of Algorithmic Information Measures
我们表明，实值近似Kolmogorov-Chaitin（K_m）使用的算法编码定理计算的输出频率的一个大的一组小的确定性图灵机与多达5个状态（和2个符号），是在协议所使用的指令数的图灵机生产s，这是符合严格的整数值程序大小的复杂性。尽管如此，K_m被证明是一个更细粒度的测量和一个潜在的替代方法的无损压缩算法的小实体，压缩失败。我们还表明，K_m和所使用的指令数与Bennett的逻辑深度LD（s）没有任何相关性，而不是理论所预测的。理论和数值计算之间的协议表明，尽管这些理论措施的不可判定性，近似是稳定的和有意义的，即使是小程序和短字符串。我们还宣布了第一个测试版的在线数学复杂度计算器（OACC），基于理论概念的组合，作为编码定理方法的数值实现。
2013-02-13 cs.CC cs.FL cs.IT
Extreme Flow Decomposition for Multi-Source Multicast with Intra-Session Network Coding
网络编码（NC），当结合多径路由，使线性规划（LP）制定的多源组播会话内网络编码（MISNC）问题。然而，由于变量或约束的巨大规模，使用常规方法仍然很难求解。在本文中，我们试图解决这个问题的吞吐量最大化从算法的角度来看。我们提出了一种新的配方的基础上的外部流分解技术，这有利于近似和在线算法的设计和分析。对于离线的情况下，我们开发了一个完整的多项式时间近似方案（FPTAS），可以找到一个$(1+ω)$的近似解决方案，任何指定的$ω>0$。对于在线的情况下，我们开发了一个在线的原始-对偶算法，证明$O(1)$ -竞争和违反链路容量的一个因素的$O(\log m)$，其中$m$是链接数。所提出的算法共享一个优雅的原始-对偶形式，从而具有简单，高效和可扩展性的固有优势。为了更好地理解外部流分解方法的优点，我们在扩展的蝴蝶网络上设计了精细的数值例子。我们验证了算法参数的影响，并提出的FPTAS和在线算法之间的一个有趣的比较。结果表明，在线算法具有令人满意的性能，同时保持可接受的整体链路利用率相比，FPTAS。
2020-12-25 cs.IT cs.NI math.IT
Undecidability of Network Coding, Conditional Information Inequalities, and Conditional Independence Implication
本研究通过结合受数据库依赖论证启发的构造、特定研究网络及群自同构表示的新构造，证明网络编码可判定性、条件信息不等式可判定性、随机变量条件独立性蕴含可判定性这三个长期公开问题均不可判定。
2022-05-29 cs.IT math.IT math.PR
A Graph Model for Opportunistic Network Coding
基于图的分析和即时可解码网络编码（IDNC）的解决方案的最新进展触发了将其扩展到更复杂的机会网络编码（ONC）场景的兴趣，复杂度增加有限。在本文中，我们设计了一个简单的IDNC类图模型的一个特定的子类的ONC，通过引入一个更广义的定义，其顶点和顶点聚合的概念，以表示存储的非即时解码的数据包在ONC。基于这种表示，我们确定了可以用边填充该图的成对顶点邻接条件集，以保证该图中每个团的顶点的可解码性或聚集性。然后，我们开发的算法程序，可以应用于设计的图形模型，以优化任何性能指标为这个ONC子类。减少完成时间的案例研究表明，该框架提高了IDNC的性能，并得到非常接近最优性能。
2015-05-11 cs.IT math.IT
Numerical Evaluation of Algorithmic Complexity for Short Strings: A Glance into the Innermost Structure of Randomness
我们描述了一种替代方法（压缩），结合了几个理论和实验结果，以数值近似的算法（Kolmogorov-Chaitin）的复杂性的所有$\sum_{n=1}^82^n$位串长达8位，和一些之间的9和16位长。这是通过穷举执行所有确定性的2符号图灵机来完成的，最多有4个状态，由于忙海狸问题，停机时间是已知的，即11019960576台机器。然后计算输出频率分布，从该输出频率分布计算算法概率，并通过（Levin-Zvonkin-Chaitin）编码定理评估算法复杂度。
2011-10-05 cs.CC cs.IT math.IT
On Multi-source Networks: Enumeration, Rate Region Computation, and Hierarchy
最近的算法发展使计算机能够自动确定和证明网络编码下的小超图网络的容量区域。一个结构理论有关的网络编码问题的不同大小的开发，以充分利用这一新发现的计算能力。一个正式的概念，网络极小的开发，删除组件的网络编码问题是不必要的，其核心的复杂性。利用群作用形式化了重标号下不同网络编码问题之间的等价性，给出了一种算法，该算法可以直接列出最小网络的每个等价类中的单个代表，直到指定的网络规模。该算法，连同率区域软件，被用来创建一个数据库，包含率区域的所有最小的网络编码问题与五个或更少的源和边缘，收集744119等价类代表超过900万个网络。为了更好地从这个数据库中学习，并利用它来推断网络的速率区域及其特性，我们使用一种新的组合和嵌入算子理论来创建不同网络编码问题之间的层次结构。
2017-04-06 cs.IT math.IT
Problems of robustness for universal coding schemes
Lempel-Ziv通用编码方案对于所有平稳遍历信源是渐近最优的。研究了该性质在小的遍历性破坏下的鲁棒性问题。算法随机性不足的概念被用来作为数据序列和概率测度之间不一致的度量。我们证明了，从一个大类的通用压缩计划是非鲁棒性在以下意义上：如果随机性不足增长任意缓慢的初始片段的无限序列，然后可以违反任何通用压缩算法的渐近最优性的属性。Lempel-Ziv压缩算法对遍历马尔可夫链产生的无穷序列具有鲁棒性，当其初始片段长度$n$的随机性亏损按$o(n)$增长时.
2008-06-27 cs.IT cs.OH math.IT
Lecture Notes on Algorithmic Information Theory
本讲义基于2023年研究生课程，打破学科界限，系统介绍算法信息论，涵盖从可计算性理论到前缀复杂度及形式系统信息论极限等核心主题。
2025-04-22 cs.IT cs.LO math.IT
Towards High-Performance Network Coding: FPGA Acceleration With Bounded-value Generators
针对 BATS 码有限域运算的高计算与功耗瓶颈，提出硬件友好的 CS-BATS、有界值生成器及 FPGA 加速器，将乘法器尺寸缩小至多 70%，并实现 27 Gbps 与 300 倍以上软件加速。
2025-01-09 cs.AR cs.IT math.IT
Learning to Communicate and Energize: Modulation, Coding and Multiple Access Designs for Wireless Information-Power Transmission
未来几十年，低功耗设备数量的爆炸式增长要求重新思考无线网络设计，即统一信息和功率的无线传输，以便充分利用RF频谱、辐射和基础设施，实现通信和供电的双重目的。本文提供了一种新的学习为基础的方法对这样的无线网络设计。为此，一个实用的能量采集器的参数模型，占各种来源的非线性，提出了使用非线性回归算法应用于收集的真实数据。基于该模型，研究了点对点链路上无线信息功率同步传输（SWIPT）调制设计的学习问题。发射机和接收机的联合优化使用基于神经网络（NN）的自编码器来实现。结果表明，通过增加接收机的功率需求，基带发射调制星座收敛到一个开关键控信令。利用通过学习获得的观察，算法SWIPT调制设计。通过数值结果可以看出，与从学习中获得的调制相比，所提出的调制的性能损失可以忽略不计。扩展研究的问题，学习调制设计的多用户SWIPT的情况下和编码调制设计点到点SWIPT被认为是。本文的主要结论是利用基于学习的结果来设计非基于学习的算法。特别是，通过学习获得的结果的启发，编码调制设计的算法方法，它执行非常接近其学习同行，是显着优越的，由于其高实时适应性的新系统设计参数。
2019-09-14 cs.IT eess.SP math.IT
A Decomposition Method for Global Evaluation of Shannon Entropy and Local Estimations of Algorithmic Complexity
我们调查的块分解方法（BDM），它扩展了权力的编码定理方法（CTM），近似本地估计的算法复杂性的基础上Solomonoff-Levin的算法概率理论，提供了一个更紧密的连接到算法的复杂性比以前的尝试，基于统计分析，例如，发现一些流行的无损压缩计划的基础上。BDM背后的策略是找到小的计算机程序，这些程序可以产生更大的分解对象的组件。然后，可以将短计算机程序的集合巧妙地按顺序排列，以便产生原始对象并估计产生所述原始对象的最短计算机程序的长度的上限。我们表明，该方法提供了有效的估计算法的复杂性，但它像香农熵时，它失去了准确性。我们估计误差，并研究不同边界条件下的BDM的行为，所有这些都进行了详细的比较和评估。该度量可以适于与比字符串更多的多维对象、诸如数组和张量的对象一起使用。为了测试的措施，我们证明了CTM的权力低算法随机性对象被分配最大熵（例如$π$），但其数值近似值更接近理论上的低算法随机性的期望。我们还测试了更大的对象，包括对偶，同构和共谱图，我们知道，算法的随机性是低的措施。我们还发布了大多数主要程序设计语言中的方法实现-Wolfram语言（Mathematica），Matlab，R，Perl，Python，Pascal，C++和Haskell--以及免费的在线算法复杂度计算器。
2018-06-18 cs.CC cs.IT math.IT
