Source Coding With Side Information Using List Decoding
带边信息的信源编码问题与信道编码密切相关。因此，现有的文献集中于使用最成功的信道码，即LDPC码、turbo码及其变体，来解决这个问题，假设底层信道码的经典唯一解码。在本文中，与经典解码相比，我们采取了列表解码的方法。我们表明，伴随式信源编码使用列表解码可以达到理论极限。我们认为，相对于信道编码，正确的序列从列表中产生的列表解码器可以有效地恢复在SCSI的情况下，因为我们正在处理一个虚拟的噪声信道，而不是一个真正的噪声信道。最后，我们提出了一个指导方针，用于设计建设性的SCSI计划，使用里德所罗门码，BCH码，和里德-穆勒码，这是已知的列表可解码的代码。
2010-01-16 cs.IT math.IT
Linear Coding for AWGN channels with Noisy Output Feedback via Dynamic Programming
用于在具有加性高斯白噪声（AWGN）输出反馈的AWGN信道上传送高斯消息的最佳编码方案是未知的，其中传输次数有限。即使我们将编码方案的范围限制为线性方案，推导最优编码方案仍然是一项具有挑战性的任务。用于具有噪声反馈的信道的最先进的线性方案由Chance和Love提出，其中线性方案的系数基于唯一的观测值进行数值优化[1]。在本文中，我们引入了一类新的顺序线性计划，这种信道通过引入一种新的线性状态过程在发射机和推导出最佳的顺序计划在这类计划的封闭形式，制定了一种新的动态规划（DP）。我们的经验表明，我们的计划优于国家的最先进的线性计划在[1]的噪声反馈和符合无噪声反馈的SK计划。我们还表明，在通信的消息位，而不是一个高斯消息，基于学习的方法进一步提高了可靠性的顺序线性计划。这个问题是一个分散控制的情况下，没有任何共同的信息，并尽我们所知的第一个这样的情况下，我们可以使用DP的解析解。
2022-05-23 cs.IT cs.SY eess.SY
Gaussian Channel with Noisy Feedback and Peak Energy Constraint
研究了正交加性高斯白噪声信道中存在噪声反馈时，峰值能量约束下的加性高斯白噪声信道最优编码问题。如Pinsker所示，在峰值能量约束下，在无噪声反馈的情况下传送M元消息（M >= 3）的最佳误差指数严格大于没有反馈的情况。本文推广了Pinsker的结果，证明了当反馈链路中的噪声功率足够小时，通信M元消息的最佳误差指数可以严格大于无反馈时的最佳误差指数。证明涉及两个反馈编码方案。一个是由Burnashev和Yamamoto的二进制对称信道的两阶段噪声反馈编码方案激发的，而另一个是扩展Pinsker的无噪声反馈编码方案的线性噪声反馈编码方案。当反馈噪声功率$α$足够小时，线性编码方案优于两级（非线性）编码方案，并且当$α$趋于零时是渐近最优的。相比之下，当$α$相对较大时，两阶段编码方案执行得更好。
2011-08-17 cs.IT math.IT
An algebraic approach to source coding with side information using list decoding
现有的关于具有边信息的信源编码（SCSI）的文献大多使用最先进的信道码，即LDPC码、Turbo码及其变体，并假设经典的唯一解码。在本文中，我们提出了一种代数方法的SCSI的基础上的列表解码的基础上的信道码。我们表明，SCSI的理论极限可以实现在建议的列表解码为基础的框架时，源和边信息之间的相关性是$q$ -ary对称的。我们认为，相对于信道编码，正确的序列从列表解码器产生的列表可以有效地恢复SCSI的情况下，与几个CRC符号。允许解码器识别正确序列的CRC符号对于大块长度产生可忽略的开销。更重要的是，这些CRC符号不受噪声影响，因为我们处理的是虚拟噪声信道而不是真实噪声信道。最后，我们提出了一个指导方针，分别为非二进制和二进制源使用里德所罗门码和BCH码，设计建设性的SCSI计划。这一准则使我们能够设计一个SCSI方案的任何任意$q$ -ary对称相关，而不诉诸模拟。
2011-10-31 cs.IT math.IT
List decoding of noisy Reed-Muller-like codes
一阶和二阶Reed-Muller（分别为RM（1）和RM（2））码是两种基本的纠错码，它们出现在通信以及概率可检验证明和学习中。在本文中，我们采取的第一步扩展RM（1）的快速随机化解码工具到二次二进制，相当于，Z_4码的领域。我们的主要算法结果是从Goldreich-Levin和Kushilevitz-Mansour算法到Hankel码的RM（1）技术的扩展，RM（1）和RM（2）之间的代码。也就是说，给定长度为N的信号s，我们找到一个列表，该列表是所有汉克尔码字phi的超集，其中s的点积至少是s的范数的（1/sqrt（k））倍，时间多项式为k和log（N）。我们还给出了一个新的和简单的制定一个已知的Kerdock码作为汉克尔码的子码。作为推论，我们也可以对Kerdock进行列表解码。此外，我们得到了一个快速算法，找到一个稀疏Kerdock近似。也就是说，当k比1/sqrt{N}小，且k> 0时，我们发现，在时间多项式（k log（N）/k）中，k-Kerdock项近似s~到s，其欧氏误差最多为最佳近似的因子（1+ k +O（k^2/sqrt{N}））倍。
2006-08-02 cs.DS cs.IT math.IT
Optimal Communication of States of Dynamical Systems over Gaussian Channels with Noisy Feedback: The Scalar Case
我们考虑的问题，通过香农高斯信道的动力系统的状态进行通信。接收机，作为一个解码器和估计器，观察噪声测量的信道输出，并在最小均方意义上的动态系统的状态的最佳估计。存在从接收器到发射器的噪声反馈。发送器观察来自接收器的噪声破坏的反馈消息以及动态系统的状态的可能的噪声测量。然后，这些测量值被用于对要在噪声高斯信道上发送的消息进行编码，其中对发送的消息施加每符号功率约束。这样，我们得到一个混合的香农的源信道编码问题和一种卡尔曼滤波问题。特别是，我们考虑两个反馈的情况下，一个是接收机测量的反馈，第二个是接收机的状态估计。我们表明，最佳的编码器和解码器是线性滤波器与有限的记忆，我们明确给出的状态空间实现的最佳过滤器。对于发射机有机会获得嘈杂的测量状态的情况下，我们得出的最佳通信方案的分离原则。此外，我们调查存在的无噪声反馈或没有反馈从接收器到发射器。对于所考虑的反馈情形，给出了稳定解存在的充分必要条件。
2015-06-01 cs.IT math.IT
Universal decoding using a noisy codebook
我们考虑的主题是通用解码的解码器，不具有直接存取的码本，但只有嘈杂的版本的各种随机生成的码字，一个问题的动机由生物识别系统。生成原始（干净）码字的源和在生成噪声码字时破坏它们的信道以及用于通信消息的主信道都由非单线有限状态系统（隐马尔可夫模型）建模。在以前的作品中的通用解码，在这里也是，我们提出的通用解码器的平均错误概率被证明是最佳的最大似然（ML）解码器一样小，直到一个乘法factorthat是一个次指数函数的块长度。因此，每当ML解码器具有正误差指数时，它具有相同的误差指数。通用解码度量基于每个噪声码字与给定信道输出向量的Lempel-Ziv（LZ）增量解析，但该度量与Ziv（1985）以及Lapidoth和Ziv（1998）在有限状态信道的通用解码的早期工作中提出的度量有些不同。差异的原因是，在这里，不像在那些早期的作品，概率分布，支配（噪声）码字是，在一般情况下，不均匀的支持。码字分布的这种不均匀性也使我们的推导更具挑战性。更具挑战性的分析的另一个原因是，在发送消息的噪声码字和主信道输出之间的有效诱导信道通常不是有限状态信道。
2016-09-02 cs.IT math.IT
Recovering a Message from an Incomplete Set of Noisy Fragments
本文研究撕纸信道中从随机长度、乱序且部分删除的碎片恢复消息的问题，给出容量闭式表达式 F - A，并针对含噪情形推导出近似紧致的容量上下界。
2024-07-08 cs.IT math.IT
Kalman meets Shannon
我们考虑的问题，通过香农高斯信道的动力系统的状态进行通信。接收机，作为一个解码器和估计器，观察噪声测量的信道输出，并在最小均方意义上的动态系统的状态的最佳估计。发送器观察动态系统的状态的可能有噪声的测量。然后，这些测量值被用于编码要在有噪声的高斯信道上发送的消息，其中对发送的消息施加每样本功率约束。这样，我们得到一个混合的香农的源信道编码问题和一种卡尔曼滤波问题。我们首先考虑的问题，在发射机的通信与完整的状态测量，并表明，最佳的线性编码器不需要有内存和最佳的线性解码器有一个顺序的最多的状态维度。我们还明确给出了最优线性滤波器的结构。对于发射机具有访问噪声测量的状态的情况下，我们推导出分离原则的最佳通信方案，其中发射机需要一个过滤器的阶数最多的动态系统的状态的维度。所得结果是针对一阶线性动力系统的，但可以推广到任意阶的MIMO系统。
2015-05-12 cs.IT math.IT math.OC
Noisy Private Information Retrieval: On Separability of Channel Coding and Information Retrieval
我们考虑的问题，嘈杂的私人信息检索（NPIR）从$N$非通信数据库，每个存储相同的一组$M$消息。在此模型中，答案字符串不是通过无噪声位管道返回，而是通过\emph{noisy}无记忆通道返回。我们的目的是在表征PIR容量为这个模型作为一个函数的统计信息措施的噪声信道，如熵和互信息。我们推导出一个一般的上限检索率的最大最小优化的形式。我们使用可实现的计划下的非对称交通约束和随机编码参数的PIR问题，推导出一个一般的下限检索率。对于$M=2$和$M=3$、任何$N$和任何噪声通道，上限和下限匹配。结果表明，除了从数据库中调整业务量比率之外，信道编码和检索之间的分离是最优的。我们将其称为\emph{almost separation}。接下来，我们考虑从多个访问信道（MAC-PIR）的私人信息检索问题。在MAC-PIR中，数据库响应通过以随机方式将响应混合在一起的多路访问信道（MAC）到达用户。我们发现，对于加性MAC和合取/析取MAC，信道编码和检索方案是\emph{inseparable}不同于在NPIR。我们发现，检索方案取决于MAC的属性，特别是在线性方面。对于这两种情况下，我们提供的计划，实现了充分的能力，没有任何损失，由于隐私约束，这意味着用户可以利用的性质，以提高隐私的渠道。最后，我们表明，完全无约束的能力并不总是可以通过确定的选择信道的容量。
2018-07-16 cs.CR cs.IT math.IT
Weight distribution bounds to relate minimum distance, list decoding, and symmetric channel performance
AIMS Rwanda（卢旺达非洲数学研究所）
本文研究了纠错码的最坏情况和随机噪声性质之间的关系，探讨了最小距离、列表解码半径和噪声信道块错误概率的联系，改进了线性码在对称信道上的性能界限。
2026-04-03 cs.IT math.IT
Effective Communications: A Joint Learning and Communication Framework for Multi-Agent Reinforcement Learning over Noisy Channels
Imperial College London（伦敦帝国理工学院）
我们提出了一种新的通信“有效性问题”的公式，由Shannon和Weaver在他们的开创性工作中提出[2]，通过考虑多个代理在嘈杂的信道上进行通信，以便在多代理强化学习（MARL）框架中实现更好的协调和合作。具体来说，我们考虑一个多智能体部分可观测的马尔可夫决策过程（MA-POMDP），其中的代理，除了与环境的相互作用，也可以通过一个嘈杂的通信信道相互通信。噪声通信信道被明确地认为是环境动态的一部分，每个代理发送的消息是代理可以采取的动作的一部分。因此，智能体不仅学会了相互协作，而且学会了在嘈杂的信道上进行“有效”的通信。这个框架概括了传统的通信问题，其中的主要目标是在嘈杂的信道上可靠地传递消息，以及最近在MARL文献中受到关注的“学习通信”框架，其中底层的通信信道被假设为是无错误的。我们通过例子表明，使用建议的框架学习的联合政策优于通信被认为是单独从底层MA-POMDP。这是一个非常强大的框架，它有许多现实世界的应用，从自动驾驶汽车规划到无人机群控制，并为多用户通信系统的设计开辟了丰富的深度强化学习工具箱。
2021-04-01 cs.AI cs.IT cs.LG
Uniformly Bounded State Estimation over Multiple Access Channels
研究了基于多址接入信道的分布式状态估计问题。我们考虑的情况下，两个编码器同时通过一个嘈杂的信道通信测量。首先，利用非随机信息理论的工具，刻画了一般M输入单输出MAC的零差错容量域。接下来，我们证明了一个紧的条件，能够实现一致有界的状态估计误差可以给出的信道零误差容量区域。该标准将通道特性与植物动态联系起来。这些结果铺平了道路，了解网络控制系统与多个变送器的信息流。
2022-12-22 cs.IT cs.SY eess.SY
On the Structure of Real-Time Encoders and Decoders in a Multi-Terminal Communication System
考虑了一个实时的【形】通信系统，其中两个编码器通过单独的噪声信道与单个接收器通信。这两个编码器对马尔可夫源进行不同的部分观测。每个编码器必须将其观测值编码为离散符号序列。符号通过噪声信道传输到有限存储器接收器，该接收器试图重建马尔可夫源的状态的某些函数。编码和解码必须是实时的【形】，也就是说，失真度量不能容忍延迟。在编码器的观测是条件独立的马尔可夫链的假设下，给出了一个不可观测的时不变随机变量，最优实时的【形】编码器和接收机的结构的结果。结果表明，存在有限维的充分统计的编码器。然后考虑接收器处的无噪声信道和完美记忆的问题。一种新的方法来找到最佳实时的【形】编码器的结构。一个充分的统计量与时不变的域中找到这个问题。当通信通过无噪声信道时，这种方法利用了编码器和接收器之间存在的公共信息。
2009-10-26 cs.IT math.IT math.OC
Transmission of Bernoulli Sources Using Convolutional LDGM Codes
在本文中，我们建议利用卷积低密度生成矩阵（LDGM）码传输的伯努利源二进制输入输出对称（BIOS）信道。为此，我们提出了一个新的框架来证明线性码的编码定理，它统一了信道编码定理，信源编码定理和联合信源-信道编码（JSCC）定理。在所提出的框架中，系统比特和相应的奇偶校验比特扮演不同的角色。准确地说，噪声系统比特用于限制典型码字的列表大小，而噪声奇偶校验比特用于从列表中选择最大似然码字。线性码的这种新框架允许系统比特和奇偶校验比特以不同的方式在不同的信道上传输。在这个框架下，我们证明了伯努利生成矩阵码（BGMCs）是容量实现的BIOS通道，熵实现的伯努利源，也是系统容量实现的JSCC应用程序。推导了线性码的比特出错率下界，该下界可用于预测误码平层，为JSCC系统的设计提供了一个简单的工具。数值结果表明，卷积LDGM码在瀑布区域表现良好，并与推导的错误地板匹配良好，如果需要，可以通过简单地增加编码内存来降低。
2022-06-06 cs.IT math.IT
Generalized List Decoding
本文关注的是一般对抗信道的列表解码问题，例如，位翻转（$\textsf{XOR}$）通道、擦除通道、$\textsf{AND}$（$Z$ -）通道、$\textsf{OR}$通道、实加法器通道、噪声打字机通道等。我们精确地表征了对于这些通道何时存在指数大小（或正速率）的$(L-1)$列表可解码码（其中列表大小$L$是通用常数）。我们的标准主张：“对于任何给定的一般对抗信道，当且仅当具有容许边缘的阶$L$的完全正张量的集合不完全包含在与该信道相关联的阶$L$混淆性集合中时，可以构造正速率$(L-1)$ -列表可解码码。“充分性是通过随机代码构造（结合删减或分时）来显示的。其必要性由1.使用超图Ramsey定理从任意大的码序列中提取等耦合子码（等距码的推广），以及2.利用完全正张量锥和共正张量锥之间的对偶性，将编码理论中的经典Plotkin界显著扩展到一般信道的列表解码。在证明中，我们还得到了一个关于联合分布不对称性的新事实，这可能是独立的利益。其他结果包括1。对于一般对抗性信道，使用渐进大的$L$列出解码容量; 2.一个严格的列表大小界大多数恒定的组合码（推广的恒定重量码）; 3。Blinovsky [Bli 86]对列表解码Plotkin点（大代码不可能的阈值）的表征的重新推导和解密; 4.对纠错码设置中唯一解码的一般界限（[WBBJ]）进行评估。
2019-09-10 cs.IT math.CO math.IT
Source-Channel Secrecy for Shannon Cipher System
最近，已经提出了基于列表重构的保密措施[2]，其中窃听器被允许产生$2^{mR_{L}}$重构序列的列表，并且保密性通过在整个列表上的最小失真来测量。在本文中，我们证明了这个列表保密问题等价于用一个新的量\emph{lossy-equivocation}来度量保密性的问题，这个量被证明是最小乐观1-可达信源编码率（对于\emph{infinitely many blocklengths}，在目标失真内以正概率重构源所需的最小编码速率），并且也可以被看作是常规含糊性的有损扩展。在此（或列表）保密措施下，研究了具有\emph{noisy}窃听信道的离散无记忆Shannon密码系统的信源信道保密问题。给出了秘密密钥速率、列表速率、窃听失真和合法用户失真的可达域的两个内界和一个外界。分别使用未编码的方案和（操作上）分离的方案导出内界。由于损失含糊保密与列表保密的等价性，利用信息谱方法证明了其外界。作为特殊情况，窃听信道退化或合法用户的无损通信的情况下的容许区域已被完全特征化。对于这两种情况，单独的方案被证明是最佳的。然而，有趣的是，在其他某些情况下，分离确实会遭受性能损失。此外，我们还扩展了我们的结果来描述高斯通信情况下的可达区域。作为副产品，乐观有损信源编码也已得到解决。
2017-02-10 cs.CR cs.IT math.IT
Continuous Optimization for Decoding Errors
本论文提出了基于受限证明系统和抽象正则性引理的列表解码框架，为Tanner codes、AEL和量子LDPC等码设计了多项式时间解码算法，并改进了超越Johnson界的列表大小与纠错半径。
2024-08-26 cs.DS cs.IT math.IT
Capacity Approaching Coding for Low Noise Interactive Quantum Communication, Part I: Large Alphabets
我们考虑在噪声信道上实现两方交互式量子通信的问题，如果我们希望充分获得通信的量子优势，这是一个必要的努力。对于一个任意协议的$n$消息，设计了一个无噪声qudit信道的$\mathrm{poly}(n)$大小的字母表，我们的主要结果是一个模拟方法，失败的概率小于$2^{-Θ(nε)}$，并使用qudit信道在相同的字母表$n\left(1+Θ\left(\sqrtε\right)\right)$倍，其中的一个$ε$分数可以被破坏adversarially。因此，模拟的能力达到领先的顺序，我们推测，它是最佳的$\sqrtε$长期的常数因子。此外，仿真是在一个模型中，不需要预先共享的资源，如通信双方之间的随机性或纠缠。我们的工作改进了以前已知的最好的量子结果，其中开销是非显式的大常数[Escherard等人，FOCS'14]用于低$ε$。
2020-01-09 cs.CC cs.DS cs.IT
