A Generalized Erasure Channel in the Sense of Polarization for Binary Erasure Channels
二进制擦除通道(BEC)的极坐标变换可以用其他BEC精确地近似。Arıkan提出,BEC的极化码可以通过使用其有用的特性来有效地构造。本文提出了一类新的任意输入广义擦除信道,它可以用与BEC相同的信道模型精确地近似于极坐标变换。主要结果之一是所提出的信道的极坐标变换的递推公式。在研究中,我们使用$α$ -互信息来评估极坐标变换。特别地,当输入字母表大小是素数幂时,我们检查以下内容:(i)在一步极坐标变换之后所提出的信道的$α$ -互信息的平均值的不等式,以及(ii)在无限数量的极坐标变换中所提出的信道的$α$ -互信息的极化的确切比例。
2016-04-15 cs.IT math.IT
Mutual information, matroids and extremal dependencies
本文证明了拟阵的秩函数可用“互信息函数”表示当且仅当拟阵是二元拟阵。所考虑的互信息函数是测量多址信道(MAC)的输入(二进制均匀)和输出之间的信息量的函数。此外,它示出的MAC的互信息功能是整数值是“等同于”的线性确定性MAC,在这个意义上说,它基本上包含在输出没有更多的信息比一些线性形式的输入。这些笔记把重点放在连接之间的互信息泛函和秩函数在拟阵理论,而不假设先验知识对这两个问题。第一部分介绍了互信息泛函,第二部分介绍了拟阵理论的基本概念,第三部分将这两个主题联系起来。它还表明,熵拟阵在文献中研究对应的MAC拟阵的具体情况。
2010-12-21 cs.IT math.IT
Reed-Muller codes polarize
Reed-Muller(RM)码和极化码由相同的矩阵$G_m= \bigl[\begin{smallmatrix}1 & 0 \\ 1 & 1 \\ \end{smallmatrix}\bigr]^{\otimes m}$生成,但是使用不同的行子集。RM码简单地选择具有最大权重的行。相反,极化码选择具有最大条件互信息的行,在$G_m$中从上到下进行;虽然这是更精细且依赖于信道的规则,但从上到下的排序具有使条件互信息更精细的优点,从而在任何二进制无记忆对称信道(BMSC)上直接给出容量实现码。RM码具有这样的性质还有待证明。在本文中,我们重新RM码极化理论。结果表明,在RM码排序,即,不是从上到下,而是从$G_m$中最轻的行到最重的行,条件互信息再次极化。我们进一步证明了它比极化码更快。这意味着$G_m$包含不同于极化码的另一个码,并且在这里被称为孪生码,其在任何BMSC上可证明是容量实现的。这证明了RM码在BMSC上实现容量的必要条件。它进一步给出了条件互信息最大的行对应于最重的行的充分条件,即,如果孪生码是RM码。我们在这里表明,这两个代码裸露彼此的相似性,并提供进一步的证据,他们可能是相同的。
2019-01-31 cs.IT math.IT
Mutual Information of Wireless Channels and Block-Jacobi Ergodic Operators
本文研究了随机多天线多径信道的香农互信息,在一般情况下,信道的冲激响应是一个各态历经的平稳过程,假定接收端是可用的。从这个观点来看,信道可以用一个遍历自伴块雅可比算子来表示,它在许多方面都接近随机薛定谔算子的块形式。然后,互信息与该算符的所谓态密度相关。在本文中,它表明,在最弱的信道假设下,互信息可以表示在一个矩阵值随机过程耦合的信道过程。这允许在该一般设置中的互信息的数值近似。此外,进一步假设信道脉冲响应是马尔可夫过程,则根据另一个相关的马尔可夫过程获得大信噪比状态中的互信息偏移的表示。这推广了Levy~ \emph{et.al.}以前的结果.它还说明了如何互信息表达式,这些表达式是密切相关的随机矩阵理论预测可以恢复在大的维度制度。
2019-05-08 cs.IT math.IT
Free Deterministic Equivalents for the Analysis of MIMO Multiple Access Channel
在本文中,一个自由的确定性等价提出了一个更一般的信道模型相比,以前的作品的多输入多输出(MIMO)多址信道(MAC)的容量分析。具体地,考虑具有配备有若干分布式天线集合的一个基站(BS)的MIMO MAC。用户和BS天线组之间的每个链路形成联合相关的莱斯衰落信道。该分析基于算子值自由概率理论,极大地拓宽了自由概率技术的适用范围。通过用满足一定算子自由度关系的算子值随机变量替换独立的高斯随机矩阵,得到了信道Gram矩阵的自由确定等价.推导了自由确定等价的Shannon变换,给出了信道各态历经输入输出互信息的近似表达式。基于近似遍历的输入输出互信息,推导了实现输入协方差矩阵的和速率容量。自由确定性等价结果易于计算,仿真结果表明,这些近似是数值精度和计算效率。
2016-05-23 cs.IT math.IT
Polarization-ring-switching for nonlinearity-tolerant geometrically-shaped four-dimensional formats maximizing generalized mutual information
本文介绍了一种新的四维64进制偏振环开关(4D-64 PRS)调制格式,其频谱效率为6 bit/4D-sym。该格式的设计是通过最大化广义互信息(GMI)和施加一个常数模的4D结构。所提出的格式在相同的频谱效率下产生相对于用于比特交织编码调制系统的现有技术的几何形状的调制格式的改进的性能。与以前发表的结果不同,星座点的坐标和星座的二进制标记是联合优化的。当与偏振复用的8进制正交幅度调制(PM-8 QAM)相比,在加性高斯白噪声(AWGN)信道中观察到高达0.7 dB的信噪比增益。对于8,000 km的长距离非线性光纤系统,观察到高达0.27 bit/4D-sym的增益(5.5%的数据容量增加)。这些收益转化为约16%(1,100公里)的范围增加。所提出的调制格式也被证明是更宽容的非线性比PM-8 QAM。LDPC码的结果也被提出,这证实了GMI预测的增益。
2019-06-06 cs.IT eess.SP math.IT
Complex Analysis of Channel Polarization on Discrete BMS Channels
Technical University of Munich(慕尼黑工业大学)
本文提出了一种基于复函数理论的组件演化框架,用于有限块长下离散二进制输入记忆less对称(BMS)信道的信道极化分析,推导了Bhattacharyya参数的解析表达式,并揭示了二进制擦除信道和二进制对称信道的极性极端性。
2026-05-18 cs.IT math.IT
Hard Clusters Maximize Mutual Information
Technical University of Munich(慕尼黑工业大学)
在本文中,我们研究互信息作为聚类的成本函数,并显示在哪些情况下很难,即,确定性,集群是最佳的。利用互信息的凸性,我们证明了信息瓶颈问题的某些公式可以通过硬集群来解决。类似地,硬聚类对于处理两个相关数据集的同时聚类的信息论联合聚类问题是最优的。如果两个数据集必须使用相同的聚类分配进行聚类,则硬聚类通常不是最佳的。我们指出有趣的和实际相关的特殊情况下,这个所谓的成对聚类问题,我们可以证明或有证据表明,硬集群是最佳的。因此,我们的研究结果表明,可以放松,否则组合硬聚类问题的实值优化问题具有相同的全局最优。
2016-08-17 cs.IR cs.IT cs.LG
Estimators for Multivariate Information Measures in General Probability Spaces
信息理论量在机器学习的各种环境中发挥着重要作用,包括因果关系测试,图形模型中的结构推理,时间序列问题,特征选择以及提供隐私保证。感兴趣的关键量是互信息及其推广,包括条件互信息、多元互信息、总相关和有向信息。虽然上述信息量在任意概率空间中定义良好,但现有的估计量增加或减少熵(我们称之为$ΣH$方法)。这些方法只适用于纯离散空间或纯连续的情况,因为熵(或微分熵)只在这种情况下定义良好。在本文中,我们定义了一个通用的图发散度($\mathbb{GDM}$),作为一个衡量的观察到的分布和给定的图形模型结构之间的不兼容性。这概括了上述的信息措施,我们通过耦合技巧,直接估计这些多变量的信息措施,使用Radon-Nikodym衍生物构建一个新的估计。这些估计被证明是一致的,在一般设置,其中包括几种情况下,现有的估计失败,从而提供了唯一已知的估计为以下设置:(1)数据具有一些离散和一些连续值分量(2)一些(或所有)分量本身是离散-连续混合物(3)数据是实数-值,但在整个空间上没有联合密度,而是在低维流形上得到支持。我们表明,我们提出的估计显着优于已知的估计合成和真实的数据集。
2018-10-26 cs.IT math.IT
Polar Coding for Fading Channels: Binary and Exponential Channel Cases
本文提出了一种适用于衰落信道的极化编码方案,主要针对衰落二进制对称和加性指数噪声信道。针对衰落二进制对称信道,提出了一种分层编码方案,在信道使用和衰落块上都采用极化编码。接收机使用其信道状态信息(CSI)来区分状态,从而在潜在的衰落信道上构建覆盖擦除信道。通过使用该方案,在发送端没有CSI的情况下,实现了衰落二进制对称信道的容量。注意,具有BPSK调制和解调的衰落AWGN信道对应于衰落二进制对称信道,该结果覆盖相当大的实际相关信道设置集合。对于衰落加性指数噪声信道,结合极化码使用扩展编码。扩展编码将连续值信道变换为多个(独立的)离散值信道。对于扩展后的每个级别,使用先前针对衰落二进制对称信道描述的方法。理论分析和数值计算结果表明,该编码方案的容量接近在高信噪比制度。总的来说,以这种(分层)方式利用极化码使得能够在发射机处进行没有CSI的编码,同时以低复杂度接近容量。
2014-08-15 cs.IT math.IT
Design of Polar Codes for Parallel Channels with an Average Power Constraint
极化码被设计用于具有平均功率约束的并行二进制输入加性高斯白噪声(BiAWGN)信道。两个主要的设计选择是:码字比特和不同质量信道之间的映射,以及平均功率约束下的功率分配。信息论建议分配功率使得互信息(MI)项的和最大化。然而,特定于极化码的功率分配显示出显著的增益。
2019-05-03 cs.IT math.IT
Efficient adaptation of complex-valued noiselet sensing matrices for compressed single-pixel imaging
University of Warsaw(华沙大学)
离散噪声和Haar小波的最小互相干性使得这对基成为基于压缩感知的单像素检测器中的测量和压缩矩阵的必要选择。在本文中,我们提出了一种有效的方法,使用复值和非二进制noiselet函数的对象采样在单像素相机与二进制空间光调制器和非相干照明。所提出的方法允许从m+1个二进制采样测量确定m个复杂的小噪声系数。此外,我们介绍了一个修改复杂的快速小噪声变换,这使得计算效率高的实时生成的二进制基于小噪声的模式,使用高效的整数计算捆绑模式。所提出的方法进行了实验验证与单像素相机系统使用二进制空间光调制器。
2016-06-14 cs.CV cs.IT math.IT
On the Possibility of Rewarding Structure Learning Agents: Mutual Information on Linguistic Random Sets
Universidad Tecnológica de la Mixteca(米斯特克理工大学);Facultad de Ciencias – UNAM(墨西哥国立自治大学理学院)
我们提出了第一次尝试阐明一个理论和经验的方法来设计奖励提供的自然语言环境的一些结构学习代理。为此,我们重新审视的信息论的无监督诱导的短语结构语法的行为特征的模拟行动建模为集值随机变量(随机集的语言样本)构成语义结构。我们的研究结果表明,模拟的语义结构(开放信息抽取三元组)可以区分随机构建的观察其成分之间的互信息的经验证据。这表明了奖励结构学习代理的可能性,而不使用预先训练的结构分析器(Oracle演员/专家)。
2019-12-04 cs.AI cs.CL cs.IT
Polar Lattices for Strong Secrecy Over the Mod-$Λ$ Gaussian Wiretap Channel
由极化码构造的极化格对于加性高斯白噪声(AWGN)信道是可证明良好的。在这项工作中,我们提出了一种新的极晶格结构,该结构在mod- $Λ$高斯窃听信道上实现了强保密准则下的保密能力。这种构造同时导致AWGN-良好的晶格和secondary-良好的晶格。该设计方法主要基于格型编码中的$Λ/Λ'$信道与多级编码中的互信息链规则推导出的等效信道在极化方面的等效性。
2014-01-24 cs.IT math.IT
Single-bit Quantization Capacity of Binary-input Continuous-output Channels
我们考虑具有离散二进制输入X的信道,其被给定的连续噪声破坏以产生连续值输出Y。然后使用量化器将连续值输出Y转换为最终的二进制输出Z。目标是设计最佳量化器Q*,并且还找到最佳输入分布p*(X),其最大化二进制输入和二进制量化输出之间的互信息I(X; Z)。提出了一种线性时间复杂度的搜索算法。基于最优量化器和最优输入分布的性质,我们减少了搜索范围,从而导致更快的实现算法。理论和数值结果来说明我们的方法。
2020-01-07 cs.IT eess.SP math.IT
Channel Dependent Mutual Information in Index Modulations
互信息是用于执行链路自适应的度量,其允许实现接近容量的速率。自适应传输模式的计算是通过使用信噪比和互信息之间的映射来实现的。由于互信息计算的高度复杂性,该过程通过蒙特卡洛模拟离线执行,其结果存储在查找表中。然而,在诸如空间调制或极化调制的索引调制中,这是不可行的,因为星座和互信息是信道相关的,并且如果信道是时变的,则需要在每个时刻计算该度量。在本文中,我们提出了不同的近似,以获得一个简单的封闭形式的表达式,允许计算在每个时刻的互信息,从而使可行的链路自适应。
2018-07-25 cs.ET cs.IT eess.SP