Relations Between Conditional Shannon Entropy and Expectation of $\ell_α$-Norm
本文研究了条件Shannon熵和联合概率分布的$\ell_α$ -范数期望之间的关系。更准确地说,我们研究了$\ell_α$ -范数的期望与一个固定的条件香农熵的紧界,反之亦然。作为结果的应用,我们得到了条件Shannon熵与由$\ell_α$ -范数的期望所确定的几种信息测度之间的紧界,例如,条件Rényi熵和条件$R$ -范数信息。此外,我们将这些结果应用到离散无记忆信道下的均匀输入分布。然后,我们证明了在均匀输入分布下具有固定互信息的Gallager $E_{0}$函数的紧界。
2016-02-15 cs.IT math.IT
Joint Identification and Sensing for Discrete Memoryless Channels
本研究针对带独立同分布状态序列的离散无记忆信道,研究联合识别与信道状态估计问题,给出了ID容量-失真函数的完整表征,拓展了ID方案的应用优势。
2025-01-21 cs.IT math.IT
The Log-Volume of Optimal Codes for Memoryless Channels, Asymptotically Within A Few Nats
香农对无记忆通信信道的基本容量限制的分析随着时间的推移而不断完善。本文证明了在平均译码错误概率$ε$下长度为$n$的码的最大容量$M_\avg^*(n,ε)$满足以下紧渐近上下界$n \to \infty$:\[ \underline{A}_ε+ o(1) \le \log M_\avg^*(n,ε) - [nC - \sqrt{nV_ε} \,Q^{-1}(ε) + \frac{1}{2} \log n] \le \overline{A}_ε+ o(1) \]是香农容量,$V_ε$是$ε$ -信道色散或二阶编码速率,$Q$是正态分布的尾概率,并且常数$\underline{A}_ε$和$\overline{A}_ε$被明确标识。该表达式在信道上的温和正则性假设下成立,包括非奇异性。间隙$\overline{A}_ε- \underline{A}_ε$对于Cover-Thomas意义上的弱对称信道是一个nat,并且对于其他对称信道、对于二进制对称信道和对于$Z$信道通常是几个nat。推导是基于强大偏差分析和改进的中心极限渐近。提出了一种实现该下界的随机编码方案。码字从由$O(1/\sqrt{n})$校正项修改的实现容量的输入分布中提取。
2016-12-26 cs.IT math.IT
Quantum rate distortion, reverse Shannon theorems, and source-channel separation
我们推导了经典信息论中两个关键定理的量子对应定理,即率失真定理和信源信道分离定理。率失真定理给出了有损数据压缩的最终限制,并且源-信道分离定理意味着由压缩和信道编码组成的两阶段协议对于在无记忆信道上传输无记忆源是最佳的。尽管它们在经典领域很重要,但在这些领域的量子信息理论研究却少得令人惊讶。本文证明了量子率失真函数是由净化的正则化纠缠给出的。我们还确定了一个单字母表示的纠缠辅助量子率失真函数,我们证明了它作为一个下界的无辅助量子率失真函数。这意味着无辅助的量子速率失真函数是非负的,并且通常不等于源和失真输出之间的相干信息(尽管巴纳姆猜想相干信息在这里是相关的)。此外,我们证明了几个量子源-通道分离定理。其中最强的是在纠缠辅助的设置,其中我们建立了一个必要和充分的条件,通过无记忆量子信道传输无记忆源到给定的失真。
2012-08-19 cs.IT math.IT quant-ph
Vector Flows and the Capacity of a Discrete Memoryless Channel
本文提出一种基于连续时间动力系统的新方法计算离散无记忆信道容量,作为Blahut-Arimoto算法的连续时间版本,并借助博弈论类比设计模拟电路硬件实现。
2023-12-27 cs.IT math.IT
A Lower Bound on the Essential Interactive Capacity of Binary Memoryless Symmetric Channels
本文将离散无记忆信道的基本交互容量定义为使用确定性编码方案在信道上可靠地模拟任何交互协议的转录本的最大速率。与文献中的其他交互能力定义相反,该定义不对扬声器的顺序(可以是自适应的)进行假设,并且不允许使用任何私人/公共随机性;因此,基本的交互能力仅是信道模型的函数。本文证明了任何二进制无记忆对称信道的基本交互容量至少是其香农容量的$0.0302$。为此,我们提出了一个简单的编码方案,扩展汉明码结合错误检测的基础上,实现了在特殊情况下的二进制对称信道(BSC)的下限。然后,我们适应整个家庭的BMS通道的计划,并表明,它实现了相同的下限使用极端的巴塔查里亚参数。
2021-08-12 cs.IT math.IT
Stochastic Ordering of Fading Channels Through the Shannon Transform
引入了两种衰落分布之间的一种新的随机序。在遍历容量排序意义下,如果在所有平均信噪比值下,第一个衰落信道的香农变换大于第二个衰落信道的香农变换,则第一个衰落信道在遍历容量排序意义下优于第二个衰落信道。结果表明,一些参数衰落模型,如Nakagami-m,Rician和Hoyt的分布是单调的视线参数的遍历容量顺序。讨论了保持遍历容量序的一些操作。通过遍历容量顺序的这些属性,可以在两种不同的衰落情况下比较涉及仅在发射机/接收机处具有编码/解码能力的多个衰落链路的复合系统的遍历容量。这样的比较,甚至可以在情况下,当一个封闭的形式表达的复合系统的遍历能力是不容易分析的。多址接入信道的应用,并扩展到多输入多输出(MIMO)系统进行了讨论。
2014-01-24 cs.IT math.IT
State-Dependent DMC with a Causal Helper
本文研究带因果辅助器的状态依赖DMC的容量最大化问题,证明逐符号描述并非总是最优,并在特定条件下给出最优性结论,进而提出一种分组马尔可夫后向解码方案。
2023-08-13 cs.IT math.IT
Feedback Does Not Increase the Capacity of Approximately Memoryless Surjective POST Channels
该研究证明近似无记忆POST信道的反馈容量与非反馈容量相同,表明反馈在这些信道中不提供容量增益。
2026-03-09 cs.IT cs.SY eess.SY
Shannon-Kotel'nikov Mappings for Analog Point-to-Point Communications
本文提出了一种称为Shannon-Kotel'nikov映射(S-K映射)的信源-信道编码联合编码方法。S-K映射是直接作用在幅度连续和离散时间信号上的连续或分段连续的直接源到信道映射。这种映射包括几个现有的JSCC方案作为特殊情况。许多现有的模拟或混合离散模拟JSCC方法提供了优异的性能以及对噪声电平变化的鲁棒性。这具有低延迟和相对低的复杂度。然而,一个理论解释其性能和行为的一般基础上,以及如何构建接近最佳映射的一般准则,目前还不存在。因此,通常基于事先已知的配置启发的有根据的猜测来找到这样的映射,以产生良好的解决方案,组合已经存在的映射,数值优化或机器学习方法。本文的目的是介绍一个理论框架分析模拟或混合离散模拟S-K映射。这个框架将使失真的计算时,应用这些计划的点对点链路,揭示更多关于他们的基本性质,并提供指导方针,他们应该如何构建,以便在低和任意的复杂性和延迟表现良好。这些指导方针可能有助于将解决方案限制在数值方法中,并有助于解释为什么机器学习方法可以找到它们所找到的解决方案。这项任务是困难的,我们不提供一个完整的框架在这个阶段:我们专注于高信噪比和无记忆源与任意连续单峰密度函数和无记忆高斯信道。我们还提供了基于所提供的理论选择的表面的映射的例子。
2022-03-20 cs.IT math.IT
Isomorphism between Maximum Lyapunov Exponent and Shannon's Channel Capacity
我们证明了可计算动力系统的最大李雅普诺夫指数同构于香农通信模型中无噪声、无记忆信道的最大容量。这种同构性使得李雅普诺夫指数可以用信息论的简化术语来理解,而不是用混沌理论中的传统定义。这项工作提供了一个桥梁之间的基础物理学和信息论的两个领域的互利。研究结果表明,机器学习和其他信息理论方法可以成功地应用于物理模拟的核心。
2018-01-25 cond-mat.stat-mech cs.IT math.IT
Threshold Saturation of Spatially Coupled Sparse Superposition Codes for All Memoryless Channels
最近,我们证明了加性高斯白噪声信道上的空间耦合稀疏叠加码的阈值饱和。在这里,我们将我们的分析推广到更广泛的背景。我们表明,对于任何无记忆信道,空间耦合允许广义近似消息传递(GAMP)解码达到潜在的(或贝叶斯最优)阈值的代码集成。此外,在大输入字母表大小限制下:i)底层(或非耦合)码系综的GAMP算法阈值被简单地表示为Fisher信息; ii)潜在阈值倾向于香农容量。虽然我们专注于编码与我们以前的结果的一致性,框架和方法是非常普遍的,并举行了广泛的一类广义估计问题的随机线性混合。
2016-03-15 cond-mat.dis-nn cs.IT math.IT
Towards a Framework for Observational Causality From Time Series: When Shannon Meets Turing
我们提出了一种新的基于张量的形式主义推断因果结构的时间序列。对传递熵的信息论分析表明,传递熵是信息在一组通信信道上传输的结果。张量是这些多通道因果通道的数学等价物。多通道因果通道是离散无记忆通道的推广。由三个变量组成的系统的调查表明,在我们的形式主义,双变量分析足以区分直接和间接的关系。要做到这一点,我们必须将多通道因果通道的输出与单通道因果通道的输出相结合。当我们考虑噪声的作用时,我们可以理解这个结果。在噪声信道上的信息的后续传输永远不会导致总的噪声较少的传输。这意味着传递熵存在数据处理不等式。
2020-02-05 cs.IT math.IT
On the Capacity of Memoryless Channels with Synchronization Errors
被认为是一个随机信道矩阵,允许符号插入和删除,除了随机错误定义的同步错误的无记忆信道。这样的信道是信息稳定的,因此它们的香农容量存在。然而,信道容量的计算是艰巨的,并且仅存在容量的一些上界和下界(对于某些特殊情况)。在这篇简短的论文中,使用一个简单的方法,我们证明了信道容量是一个凸函数的随机信道矩阵。由于更广泛研究的独立同分布(i.i.d.)删除通道是一种特殊情况,作为该结果的直接推论,我们还认为i.i.d.删除信道容量是删除概率的凸函数。我们进一步使用这个结果,以改善现有的容量上限删除通道适当的“凸化”参数。特别是,我们证明了删除信道的容量,作为删除概率d --> 1,是由$0.4143(1-d)$的上限(这也是观察到的不同(较弱)最近的结果)。
2011-02-28 cs.IT math.IT
The Reliability Function of Lossy Source-Channel Coding of Variable-Length Codes with Feedback
我们考虑传输的离散无记忆源(DMS)跨越离散无记忆信道(DMC)使用可变长度的有损源信道反馈码。示出的可靠性函数(最佳误差指数)是等于$\max\{0, B(1-R(D)/C)\},$其中$R(D)$是源的率失真函数,$B$是DMC的输出分布之间的最大相对熵,和$C$是信道的香农容量。我们表明,在这种情况下,在这种渐近制度,单独的源信道编码,事实上,最佳的。
2019-04-07 cs.IT math.IT
On the Non-Adaptive Zero-Error Capacity of the Discrete Memoryless Two-Way Channel
我们研究的问题,在一个离散的无记忆的双向通道使用非自适应计划,零概率的错误准则。基于随机编码、线性规划、线性码和图的渐近谱,我们推导出了零误差容量区域的单字母内界和外界。除其他外,我们提供了一个单字母的外部边界的基础上结合香农的消失误差容量区域和双向模拟的线性规划界的点对点通道,这与单向的情况下,一般是优于两者。此外,我们通过图的渐近谱建立了双向信道的零差错容量区域的外界,并证明了在某些情况下可以实现该界。
2021-09-10 cs.DM cs.IT math.CO
Universal Covertness for Discrete Memoryless Sources
考虑由具有未知分布$p_X$的离散无记忆源(DMS)发射的长度为$n$的序列$X^n$。我们的目标是构建一个无损的源代码,将$X^n$映射到一个序列$\widehat{Y}^m$的长度$m$是不可区分的,在Kullback-Leibler分歧,从另一个DMS发出的序列与已知的分布$p_Y$。主要结果是存在一种编码方案,该编码方案以等于$H(X)/H(Y)$的最佳比率$m/n$执行该任务,所述最佳比率是两个分布的香农熵的比率,因为$n$趋于无穷大。该编码方案通过基于类型的通用无损信源编码方案克服了由于缺乏关于$p_X$的知识而产生的挑战,该方案产生几乎均匀分布的序列作为输出,随后是另一种基于类型的编码方案,该编码方案联合执行信源可分辨性和通用无损信源编码。该结果恢复并扩展了以前的结果,假设$p_X$或$p_Y$均匀,或$p_X$已知。这些推广的代价是使用了具有消失率的普通随机性,其长度是$n$的对数。通过允许公共随机性大于$n$的对数但与$n$相比仍然可以忽略,还借助于极化码为二进制源提供了与主要结果对应的构造性低复杂度编码和解码。
2021-06-17 cs.IT math.IT
A Simple Proof for the Optimality of Randomized Posterior Matching
后验匹配(PM)是作者提出的一种顺序无水平反馈通信方案,作者还提供了一个相当复杂的最优性证明,表明它实现了一大类无记忆信道的容量。Naghshvar等人考虑了具有固定消息数和随机决策时间的PM的非顺序变化,并通过新颖的Shannon-Jensen发散论证给出了一个更简单的证明,以建立其最优性。Li和El Gamal给出了另一个更简单的最优性证明,他们考虑了PM的固定速率固定块长度变化以及额外的随机化。这两项工作也提供了误差指数界。然而,他们更简单的可并行性证明仅适用于离散的无记忆通道,并且仅限于具有固定数量消息的非顺序设置。在本文中,我们提供了一个简短的和透明的证明,在一般的无记忆通道的完全顺序的地平线自由PM计划的最优性。借用Li和El Gamal的密钥随机化思想,我们的证明是基于分析由反向迭代函数系统(RIFS)解码器引起的收缩后验间隔的随机行走行为。
2015-07-31 cs.IT math.IT
Design and Analysis of Nonbinary LDPC Codes for Arbitrary Discrete-Memoryless Channels
我们提出了一个分析,迭代解码下,陪集LDPC码在GF(q),设计用于任意离散无记忆信道(特别是非二进制和非对称信道)。我们使用一个随机陪集分析产生的效果是类似的输出对称与二进制通道。我们表明,随机选择的GF(q)奇偶校验矩阵的非零元素诱导的置换不变性的解码器消息的密度,这简化了他们的分析和近似。通过对二进制LDPC码的分析,我们概括了LDPC码的对称性和稳定性等性质。我们表明,在高斯近似下,整个q-1维分布的矢量消息是由一个单一的标量参数(如二进制LDPC消息的分布)。我们应用这个属性来为我们的代码开发EXIT图表。我们使用适当设计的信号星座,以获得实质性的整形增益。仿真结果表明,我们的代码优于多级码在短块长度。我们还提出了模拟结果的AWGN信道,包括在0.56 dB的无约束香农限制(即不限于任何信号星座)在6位/s/Hz的频谱效率的结果。
2005-11-09 cs.IT math.IT
The Symmetric Convex Ordering: A Novel Partial Order for B-DMCs Ordering the Information Sets of Polar Codes
在本文中,我们提出了一个新的偏序二进制离散无记忆信道,我们称之为对称凸序。我们证明了Arıkan的极坐标变换保持了“对称凸序”。此外,我们表明,虽然对于对称信道,这种排序原来是等价的随机退化排序已经知道的顺序极化码的信息集,一个严格较弱的偏序时,至少有一个信道是不对称的。在此之间,我们还讨论了两个工具,这可能是有用的验证这种秩序:一个标准被称为切割标准和通道对称化。最后,我们讨论了潜在的应用结果,极化编码在非平稳信道。
2018-06-28 cs.IT math.IT
Causal State Communication
研究了当状态信息在编码端严格因果可得时,离散无记忆信道中离散无记忆状态的状态通信问题。它示出,块马尔可夫编码,其中编码器通信的状态序列的描述,在前一个块通过将边信息的状态序列在解码器,产生最小的状态估计误差。当以较高的信道状态估计误差为代价使用相同的信道来发送附加的独立信息时,独立信息的速率和状态估计误差之间的最佳折衷经由容量-失真函数来表征。结果表明,任何最佳的折衷对,可以通过率分裂。这些编码定理,然后最佳地扩展到因果信道状态信息的情况下,在编码器使用香农策略。
2012-03-27 cs.IT math.IT
De-randomizing Shannon: The Design and Analysis of a Capacity-Achieving Rateless Code
本文分析了最近提出的一类无码率码--脊髓码。我们证明了脊髓码实现香农容量的二进制对称信道(BSC)和加性高斯白噪声(AWGN)信道与一个有效的多项式时间的编码器和解码器。它们是第一个证明BSC和AWGN这些性质的无比率码。脊髓码的关键思想是在消息位上顺序应用哈希函数。代码的顺序结构对于有效解码至关重要。此外,反对在良好的代码中具有扩展器结构的智慧,我们表明,尽管其顺序结构,但脊柱代码实现了容量。由散列函数提供的伪随机性足以用于此目的。我们的证明引入了一个变种的Gallager的结果表征的错误指数的随机码的任何无记忆通道。我们提出了一个新的应用程序,这些错误指数的结果在一个有效的顺序码的框架内。在消息比特上应用散列函数提供了一种方法和有效的方式来去随机化香农的随机码本构造。
2012-06-03 cs.IT cs.NI math.IT
A Simple Capacity Outer Bound for Two-Way Channels and Capacity Approximation Results
信道的对称性,暗示香农的随机编码内界的紧密性最近被用来确定离散无记忆双向信道(DM-TWC)的容量区域。对于没有这种对称性的信道,通常需要外边界来估计容量区域。然而,验证对称性条件和/或评估非平凡的外边界在计算上要求很高,特别是对于具有大输入和输出字母的通道。在本文中,三个易于检查的条件,确定DM-TWC没有这样的对称性,以及一个易于计算的外边界。该界是从香农的内界计算,但非平凡的。使用该外边界,可以为某些DM-TWC建立近似的容量结果。通过两个例子说明了结果。
2020-09-24 cs.IT math.IT
Data compression with low distortion and finite blocklength
本文考虑有损信源编码的$n$维无记忆源,并显示了一个显式近似的最小信源编码率维持超过失真的概率$d$不大于$ε$,这是简单的比已知的色散为基础的近似。我们的方法从著名的经典结果中得到启发,该结果表明率失真函数的香农下限在极限$d \to 0$中变得很紧。我们制定了一个抽象版本的香农下界,恢复经典的香农下界和率失真函数本身作为特殊情况。同样,我们表明,一个非渐近版本的抽象香农下界恢复所有以前已知的非渐近转换。给出了精确达到Shannon下界的一个充分必要条件。它表明,只要满足该条件,速率色散函数是简单地由源的熵。值得注意的是,所有有限字母源与平衡失真措施满足该条件的范围内的低失真。大多数连续源都违反了这一条件。尽管如此,我们表明,格量化器密切接近非渐近香农下界,提供的源密度是足够光滑和失真是低的。这意味着即使在有限的$n$上,精细的多维晶格覆盖在率失真意义上也是接近最优的。的可扩展性证明技术是基于一个新的约束格量化器的输出熵的差分熵的源,格细胞的大小和平滑参数的源密度。该技术避免了通常的随机编码参数和简化假设的抖动信号的存在。
2017-02-25 cs.IT math.IT
Arıkan meets Shannon: Polar codes with near-optimal convergence to channel capacity
令$W$是具有香农容量$I(W)$的二进制输入无记忆对称(BMS)信道,并且固定任何$α> 0$。我们构造,对于任何足够小的$δ> 0$,二进制线性码的块长度$O(1/δ^{2+α})$和速率$I(W)-δ$,使可靠的通信$W$与准线性时间编码和解码。香农的噪声编码定理建立了具有块长度$O(1/δ^2)$的这种码(没有有效的构造或解码)的\emph{existence}。已知间隙$δ$与容量的这种二次相关性是最可能的。因此,我们的结果产生一个建设性的版本香农定理与近最佳收敛能力作为块长度的函数。这解决了与香农容量的实现相关的中心理论挑战。以前,这样的结果仅为擦除信道所知。我们的代码是Arıkan极化码的变体,基于多个精心构造的局部内核,每个内核用于解码中出现的每个中间通道。在分析中的一个关键因素是一个强有力的逆噪声编码定理时,使用随机线性码在任意BMS信道通信。我们的逆定理表明,在略高于容量的速率下,即使是单个消息比特的随机编码也具有极端的不可预测性。
2022-01-24 cs.CC cs.DS cs.IT
An Improved Sphere-Packing Bound Targeting Codes of Short to Moderate Block Lengths and Applications
本文推导了一种改进的球填充(ISP)界短到中等块长的目标码。我们首先回顾了1967年的球形包装(SP67)的离散无记忆通道,以及最近的改进由Valvis和Fossorier。这些概念被用于推导一个新的下界的解码错误概率(称为ISP界),这是一致的紧比SP67界及其最近的改进版本。在较弱的条件下,ISP界也适用于一般的无记忆信道,并给出了它的一些应用实例。它的紧密性进行了研究,通过比较它与ML解码错误概率的界限。它是举例说明,ISP界建议一个有趣的替代1959年球形包装(SP59)的香农界的高斯信道,特别是数字调制的高频谱效率。
2006-09-17 cs.IT math.IT
Identification Capacity of the Discrete-Time Poisson Channel
针对事件驱动的分子通信场景传统香农容量不适用的问题,提出识别容量作为替代指标,推导了离散时间泊松信道在功率约束下的随机识别容量公式,并分析了状态依赖型信道的情况。
2024-01-29 cs.IT math.IT
Source-Channel Secrecy for Shannon Cipher System
最近,已经提出了基于列表重构的保密措施[2],其中窃听器被允许产生$2^{mR_{L}}$重构序列的列表,并且保密性通过在整个列表上的最小失真来测量。在本文中,我们证明了这个列表保密问题等价于用一个新的量\emph{lossy-equivocation}来度量保密性的问题,这个量被证明是最小乐观1-可达信源编码率(对于\emph{infinitely many blocklengths},在目标失真内以正概率重构源所需的最小编码速率),并且也可以被看作是常规含糊性的有损扩展。在此(或列表)保密措施下,研究了具有\emph{noisy}窃听信道的离散无记忆Shannon密码系统的信源信道保密问题。给出了秘密密钥速率、列表速率、窃听失真和合法用户失真的可达域的两个内界和一个外界。分别使用未编码的方案和(操作上)分离的方案导出内界。由于损失含糊保密与列表保密的等价性,利用信息谱方法证明了其外界。作为特殊情况,窃听信道退化或合法用户的无损通信的情况下的容许区域已被完全特征化。对于这两种情况,单独的方案被证明是最佳的。然而,有趣的是,在其他某些情况下,分离确实会遭受性能损失。此外,我们还扩展了我们的结果来描述高斯通信情况下的可达区域。作为副产品,乐观有损信源编码也已得到解决。
2017-02-10 cs.CR cs.IT math.IT
Secure Event-triggered MolecularvCommunication - Information Theoretic Perspective and Optimal Performance
Technical University of Munich(慕尼黑工业大学);Technische Universität Braunschweig(布伦瑞克工业大学)
本文从信息论角度研究了安全事件触发分子通信的最优性能,提出并分析了安全随机识别方法,推导了其容量公式以提升安全性和效率。
2025-12-18 cs.IT math.IT
Quantum interference channels
离散无记忆干扰信道被建模为两个输出依赖于两个输入的条件概率分布,并且在实际通信场景中具有广泛的应用。在本文中,我们介绍和研究量子干涉信道,一个推广的两个输入,两个输出的无记忆信道的设置量子香农理论。我们讨论了三种不同的编码策略,并得到相应的量子干涉信道的可达速率区域。我们计算了“非常强”和“强”干扰的特殊情况下的容量区域。在强干扰情况下的可并行性证明利用了一种新的双发送方量子多址信道的量子同时解码器。我们制定了一个猜想,关于存在一个量子同时解码器在三个发送者的情况下,并使用它来说明可实现的量子韩小林策略的速率。
2011-07-28 cs.IT math.IT quant-ph
On Strong Data-Processing and Majorization Inequalities with Applications to Coding Problems
这项工作提供了数据处理和优化不等式的$f$ -分歧,它认为他们的一些应用程序的编码问题。这项工作还提供了一个离散随机变量的函数的Rényi熵与有限个可能的值,其中所考虑的功能是不是一对一的紧界,和他们的推导是基于优化和Schur-Schurt的Rényi熵。$f$ -发散不等式的一个应用是指列表解码的性能分析,无论是固定的或可变的列表大小,列表解码错误概率上的一些早期的界限,在一个统一的方式再现,并获得新的界限,并举例说明数字。另一个应用是关于近似的概率质量函数,这是由汤斯顿树的叶子,由等概率分布的质量的研究。进一步分析了有限长Tunstall码的压缩率,以证明其与无记忆平稳离散信源的香农熵的接近程度。考虑到Rényi熵的严格界和Campbell的工作,导出了离散无记忆信源的无损数据压缩的非渐近界.
2021-03-31 cs.IT math.IT
An Entropy Sumset Inequality and Polynomially Fast Convergence to Shannon Capacity Over All Alphabets
我们证明了一个较低的估计熵的增加时,两个副本的条件随机变量$X | Y$,与$X$支持$\mathbb{Z}_q=\{0,1,\dots,q-1\}$总理$q$,总结模$q$。具体来说,给定一对随机变量$(X,Y)$的两个i.i.d副本$(X_1,Y_1)$和$(X_2,Y_2)$,$X$在$\mathbb{Z}_q$中取值,我们显示了某些$α(q) > 0$的\[ H(X_1 + X_2 \mid Y_1, Y_2) - H(X|Y) \ge α(q) \cdot H(X|Y) (1-H(X|Y)) \],其中$H(\cdot)$是归一化(通过因子$\log_2 q$)熵。我们的动机是对极化码的有限长度行为的有效分析,并且$q$是素数的假设是必要的。对于在没有有限子群和没有条件限制的无限群上支持的$X$,Tao(2010)证明了(非归一化)熵的绝对增加的和集不等式。我们使用我们的和集不等式来分析Arıkan的极化码的构造,并证明对于任何$q$ -ary源$X$,其中$q$是任何固定素数,以及任何$ε> 0$,极化码允许$N$ i.i.d.的{ \em有效}数据压缩。只要$N$在$1/ε$中是多项式大的,就将$X$的拷贝转换成$(H(X)+ε)N$ $q$元符号。我们可以通过将$q$分解为素数并在分解中为每个素数组合不同的极化码来获得具有类似复合字母保证的容量实现源代码。我们的结果…
2014-11-25 cs.CC cs.IT math.IT
On Capacity Computation for the Two-User Binary Multiple-Access Channel
本文研究无记忆二用户二进二出多址信道((2,2;2)-MAC)容量域边界的计算问题,即最大化加权和速率的输入概率分布的计算问题。这相当于解决一个困难的非凸优化问题。对于一个限制类的(2,2;2)-MAC和权重向量,它示出,取决于信道矩阵的排序属性,最优解位于边界上,或目标函数在域的内部有最多一个固定点。为此,该问题被降低到一个伪凹一维优化和单用户问题。
2009-04-30 cs.IT math.IT
Information Spectrum Methods for Multiple-Access Channels--Part I: $\varepsilon$-Capacity Regions in the Mixed Gaussian Case
The University of Electro-Communications(电气通信大学)
本文用信息谱方法研究带成本约束的混合多址信道的 $\varepsilon$-容量,给出内界、高斯MAC强逆性质及准静态衰落高斯MAC的容量区域,并验证CSI场景下的一致性。
2026-11-17 cs.IT
Non-Stochastic Information Theory
为了建立非随机信息理论的基础,引入了$δ$ -不确定变量间的互信息的概念,作为Nair非随机信息泛函的推广.这个新的数量的几个属性进行了说明,并用于证明一个信道编码定理在非随机设置。也就是说,它表明,最大的$δ$ -在$ε$ -噪声信道上接收和发送的码字之间的互信息等于$(ε, δ)$ -容量。容量的概念将Kolmogorov $ε$ -容量推广到最多$δ$重叠的包装集,并且是作者之一提出的先前定义的变体。结果,然后扩展到更一般的噪声模型,非随机,无记忆,平稳的信道。最后,建立了$δ$ -互信息分解的充分条件,得到了单字母容量表达式。与以前的非随机方法相比,所提出的理论承认在香农的概率设置中解码错误的可能性,同时保留最坏情况下的非随机特性。
2020-11-25 cs.IT math.IT
Soft GRAND under Channel Uncertainty: Minimax Posterior-Envelope Ordering and Gallager-Exponent Preservation
Harvard University(哈佛大学)
针对信道不确定性下的软GRAND解码,提出后验包络排序以最小化最坏情况秩-后验乘积,并证明在均匀输入无记忆信道上其误差指数保持为Gallager指数。
2026-09-25 cs.IT math.IT
Re-proving Channel Polarization Theorems: An Extremality and Robustness Analysis
本论文所研究的主题是最近发现的一种编码技术,极化码,它被用来构造一类具有独特性质的纠错码。在他的开创性工作中,Arıkan证明了这类称为极化码的代码实现了任何固定二进制离散无记忆信道的对称容量-在均匀输入分布下评估的互信息-具有低复杂度的编码器和解码器,需要块长度$N$中的$O(N\log N)$操作。这一发现解决了香农长期以来遗留的问题,即找到实现信道容量的低复杂度码。极化编码解决了信息论中的一个悬而未决的问题,但也带来了许多具有挑战性的问题需要解决。本论文的一个重要部分是致力于在两个方向上推进有关这项技术的知识。第一个提供了一个更好的理解极化编码的推广现有的一些结果,并讨论其影响,和第二个研究的鲁棒性的理论在通信模型引入各种形式的不确定性或变化的概率模型的信道。
2014-12-13 cs.IT math.IT
Information-Theoretic Foundations of Mismatched Decoding
National University of Singapore(新加坡国立大学);Institució Catalana de Recerca i Estudis Avançats (ICREA)(加泰罗尼亚高级研究学院);Universitat Pompeu Fabra(庞培法布拉大学);University of Cambridge(剑桥大学);Bar-Ilan University(巴伊兰大学)
本专著综述失配解码问题,聚焦无记忆信道上的随机编码可达速率,介绍GMI和LM速率及其改进,并探讨失配容量上界与相关应用。
2026-09-23 cs.IT math.IT
The Arbitrary-Placement Problem in Entropy-Minimizing Selection, and a Residual-Entropy Formulation
California Institute of Technology(加州理工学院);Cornell University(康奈尔大学)
针对熵最小化选择中的任意放置问题,提出残差熵公式,证明其安全性与排序条件,并在路由、类不平衡及视频预测任务中验证有效性。
2026-10-06 cs.IT cs.LG math.IT