Multiple Access Gaussian Channels with Arbitrary Inputs: Optimal Precoding and Power Allocation
在本文中,我们推导出新的封闭形式的梯度的互信息相对于任意参数的两用户多址接入信道(MAC)的表达式。推导出的关系式将互信息的导数和最小均方误差(MMSE)之间的基本关系推广到多用户系统。我们证明了互信息相对于信噪比(SNR)的导数等于MMSE加上由于干扰引起的协方差,量化的一个术语相对于多用户输入估计,信道和预编码矩阵的互相关。我们还推导出新的关系的梯度的条件和非条件互信息的MMSE。利用新的基本关系,我们研究的线性预编码和功率分配政策,最大化的互信息的两个用户MAC高斯信道的任意输入分布。我们表明,线性预编码器的最佳设计可以满足一个固定点方程作为一个函数的信道和特定的设置下的输入星座。我们还表明,在多用户设置中的非相互干扰引入一个术语的梯度的互信息的最佳传输策略,特别是最佳的预编码和功率分配的设计中起着根本性的作用,并解释了损失的数据率。因此,我们提供了一个新的解释的干扰相对于信道,功率和输入估计的主用户和用户。
2014-11-06 cs.IT math.IT
High-SNR Asymptotics of Mutual Information for Discrete Constellations with Applications to BICM
在信噪比趋于无穷大的极限下,给出了标量加性高斯白噪声信道中任意离散输入与相应输出之间的互信息的渐近表达式.给出了在给定信道输出的情况下,通过估计信道输入所获得的符号错误概率(SEP)和最小均方误差(MMSE)的渐近表达式。结果表明,对于任何输入分布,给定输出的信道输入的条件熵,MMSE和SEP具有与高斯Q函数成比例的渐近行为。该Q函数的幅角仅取决于星座图的最小欧氏距离(MED)和信噪比,比例常数是MED和MED处星座点对概率的函数.将推导的表达式推广到比特交织编码调制(BICM)中,研究了广义互信息(GMI)的高信噪比特性.通过这些渐近表达式,证明了长期以来的猜想,格雷码是二进制标记,最大化的BICM-GMI在高信噪比。它进一步表明,对于任何等距星座的大小是2的幂,总是存在一个反格雷码给出最低的BICM-GMI在高信噪比。
2013-09-10 cs.IT math.IT
On Compressive Sensing in Coding Problems: A Rigorous Approach
我们采取一个经典的稀疏采样噪声线性模型的信息论的角度来看,并提出了一个解析表达式的互信息,在各种通信/处理问题中起着核心作用。这样的表达式以前解决的边界,模拟和(非严格)的副本方法。互信息的表达基于[1]中使用的技术,解决了最小均方误差(MMSE)分析。使用这些表达式,我们专门研究了各种稀疏的线性通信模型,其中包括在不同的设置编码,也占多个接入信道和不同的窃听问题。对于这些,我们提供了单字母的表达式,并获得可实现的速率,捕捉这些及时的模型的通信/处理功能。
2014-03-24 cs.IT math.IT
Neural Computation of Capacity Region of Memoryless Multiple Access Channels
本文提供了一个数值计算框架的无记忆多址接入信道(MAC)的可达速率区与一个连续的字母表从数据。特别是,我们使用最近的结果变分下界互信息和KL-发散计算MAC的速率区域的边界,使用一组参数化的神经网络的功能。我们的方法依赖于一个变分的下限KL-散度和上界KL-散度的基础上的f-散度不等式。与以前的工作,计算估计的互信息,这是既不是一个下限,也不是一个上限,我们的方法估计的下限互信息。我们的数值结果表明,该方法提供了更紧密的估计相比,基于MINE的估计在大信噪比,同时计算更有效。最后,我们将所提出的方法应用于光强度MAC,并获得了一个新的可实现的速率边界比以前的作品更紧。
2021-05-10 cs.IT math.IT
Multiuser I-MMSE
在本文中,我们推广的互信息的导数和最小均方误差(MMSE)之间的基本关系,多用户设置。我们证明了互信息相对于信噪比(SNR)的导数等于MMSE加上由于干扰引起的协方差,量化的一个术语相对于多用户输入估计,信道和预编码矩阵的互相关。我们还推导出新的关系的梯度的条件和非条件互信息的MMSE。利用新的基本关系,我们推导出封闭形式的表达式的互信息的多用户信道,特别是二进制相移键控(BPSK)驱动的两个用户多址高斯信道来说明和阐明的方法,以获得类似的表达式为更高级别的星座。我们利用新公布的关系,推导出多用户MMSE和互信息在低信噪比制度。
2017-03-24 cs.IT math.IT
Mutual information in nonlinear communication channel. Preliminary analytical results in large SNR and small nonlinearity limit
将微扰理论应用于加性高斯噪声下非线性薛定谔方程(NLSE)描述的非线性通信信道的互信息的路径积分表示,分析了大信噪比($\mathrm{SNR}$)和小非线性下互信息的解析表达式.我们对非线性参数中的互信息的所有可能的修正进行了分类,并证明了在最终的结果中,$\mathrm{SNR}$项中的所有奇异性都消失了。分析结果还表明,对$\mathrm{SNR}$中首阶互信息的Shannon贡献的修正是非线性参数平方的阶数.在进一步的研究中,我们概述了这些修正的计算方法。
2016-08-18 cs.IT math.IT
Low-Signal-Energy Asymptotics of Capacity and Mutual Information for the Discrete-Time Poisson Channel
推导出离散时间泊松信道中互信息的低信号能量渐近的第一项,并与容量的渐近表达式进行比较。在存在非零加性噪声(泊松噪声或几何噪声)的情况下,互信息在零信号能量处是凹的,并且在零容量处不能获得每比特的最小能量。与信号能量成比例的固定信号星座不能达到每比特的最小能量。当存在加性泊松噪声时,每比特的最小能量为零,并且当存在平均值$\ew$的加性几何噪声时,每比特的最小能量为$\ew\log 2$。
2008-08-20 cs.IT math.IT
Distribution of Mutual Information from Complete and Incomplete Data
互信息被广泛地用于描述分类随机变量的随机相关性。为了解决诸如描述值的可靠性之类的问题,必须考虑样本到人口的推理方法。本文讨论了互信息的后验分布,在贝叶斯框架下获得的二阶Dirichlet先验分布。精确的解析表达式的平均值,和解析近似的方差,偏度和峰度。这些近似有一个保证的精度水平为O(1/n^3),其中n是样本大小。在不完全样本的情况下,导出了均值和方差的主阶近似。导出的解析表达式允许互信息的分布被可靠地和快速地近似。事实上,可以用描述性互信息所需的相同复杂度来计算导出的表达式。这使得互信息的分布在许多应用中成为描述性互信息的具体替代,这将受益于移动到归纳侧。这些前瞻性的应用进行了讨论,其中之一,即特征选择,表现出显着更好的使用时,感应互信息。
2004-03-15 cs.AI cs.IT cs.LG
Mutual Information Approximation
为了提供一种有效的方法来表征加性高斯白噪声(AWGN)信道下的输入输出互信息(MI),本文采用多指数衰减曲线拟合(M-EDCF)方法拟合了多电平正交幅度调制(M-QAM)信号输入下的精确MI曲线。尽管瞬时MI与信噪比(SNR)的关系定义式复杂,包含积分不易计算,但新的拟合公式形式简洁,精度高,计算复杂度低。一般来说,该MI近似公式可以促进离散输入下实际通信系统性能分析的研究。
2019-06-28 cs.IT math.IT
On the Second-Order Statistics of the Instantaneous Mutual Information in Rayleigh Fading Channels
本文研究了时变瑞利衰落信道中,在一般非各向同性散射环境下,瞬时互信息的二阶统计量。具体而言,首先在单输入单输出(SISO)系统中的自相关函数,相关系数,电平交叉率,和瞬时互信息的平均中断持续时间进行了研究。封闭形式的精确表达式推导,以及准确的近似在低和高信噪比制度。然后,将所得结果推广到多输入单输出和单输入多输出系统,以及采用正交空时分组码传输的多输入多输出系统。蒙特卡罗模拟提供了验证分析结果的准确性。结果进一步揭示了瞬时互信息在移动衰落信道中的动态行为。
2006-03-08 cs.IT math.IT
Mutual information, matroids and extremal dependencies
本文证明了拟阵的秩函数可用“互信息函数”表示当且仅当拟阵是二元拟阵。所考虑的互信息函数是测量多址信道(MAC)的输入(二进制均匀)和输出之间的信息量的函数。此外,它示出的MAC的互信息功能是整数值是“等同于”的线性确定性MAC,在这个意义上说,它基本上包含在输出没有更多的信息比一些线性形式的输入。这些笔记把重点放在连接之间的互信息泛函和秩函数在拟阵理论,而不假设先验知识对这两个问题。第一部分介绍了互信息泛函,第二部分介绍了拟阵理论的基本概念,第三部分将这两个主题联系起来。它还表明,熵拟阵在文献中研究对应的MAC拟阵的具体情况。
2010-12-21 cs.IT math.IT
Signal Shaping for Two-User Gaussian Multiple Access Channels with Computation: Beyond the Cut-Set Bound
本文研究了两用户离散时间无记忆高斯多址接入信道(MAC)中的信号成形问题。结果表明,通过优化输入概率分布,每个发射机的传输速率超过割集界。与单用户离散无记忆信道相比,Maxwell-Boltzmann分布不再是这种具有计算的离散时间高斯MAC的最佳输入概率分布的良好近似。具体地说,我们推导和分析的互信息为这个通道。由于目标端的计算,使得互信息在输入端的概率分布上一般不是凹的,因此采用原对偶邻点法来解决这个非凸问题。最后,得到了16进制脉冲幅度调制(PAM)星座的一些良好的输入概率分布,并在目标传输速率$3.0067$ bits/(信道使用)的割集界上实现了$4.0349$ dB增益。
2017-01-25 cs.IT math.IT
Achievable Sum Rate of MIMO MMSE Recievers: A General Analytic Framework
研究了采用线性最小均方误差(MMSE)接收机的多输入多输出(MIMO)无线系统的可达和速率。我们提出了一个新的分析框架,揭示了一个有趣的连接之间的可实现的和速率与MMSE接收机和遍历互信息实现最佳接收机。这个简单但强大的结果使大量的遍历MIMO互信息的现有文献直接应用到MMSE接收机的分析。该框架是特殊的各种瑞利和莱斯信道的情况下,产生新的精确的封闭形式的表达式,可实现的和速率,以及简化的表达式在渐近制度的高和低的信噪比。这些表达式导致的MIMO MMSE接收机在实际信道条件下的性能的关键见解的发现。
2009-03-04 cs.IT math.IT
Mutual Information-Based Planning for Informative Windowed Forecasting of Continuous-Time Linear Systems
KAIST(韩国科学技术院)
本文提出基于互信息的传感资源规划方法,用于降低目标量的预测不确定性,适用于连续时间线性系统。通过扩展平滑方法,处理更一般的验证实体——未来有限时间窗口内的连续变量序列,并通过条件独立结构和固定间隔平滑公式进行量化。
2013-08-01 cs.IT cs.SY eess.SY
A Single-letter Upper Bound for the Sum Rate of Multiple Access Channels with Correlated Sources
具有任意相关信源的多址信道的容量域问题一直是一个悬而未决的问题。Cover,El Gamal和Salehi给出了一个可实现的区域,其形式为单字母熵和互信息表达式,而没有单字母逆。Cover,El Gamal和Salehi也给出了一些n字母互信息的逆,这些互信息是不可计算的。在本文中,我们推导出一个上界的总和速率的信道在一个单字母的表达式,通过使用频谱分析。Cover、El Gamal和Salehi方案的和率的不可计算性来自于难以表征n个字母通道输入的可能联合分布。在这里,我们引入了一个新的数据处理不等式,这导致了这些可能的联合分布的一个单字母的必要条件。我们开发了一个单一的字母上限的总和率使用这个单一的字母的必要条件可能的联合分布。
2005-11-28 cs.IT math.IT
Mutual Information of Wireless Channels and Block-Jacobi Ergodic Operators
本文研究了随机多天线多径信道的香农互信息,在一般情况下,信道的冲激响应是一个各态历经的平稳过程,假定接收端是可用的。从这个观点来看,信道可以用一个遍历自伴块雅可比算子来表示,它在许多方面都接近随机薛定谔算子的块形式。然后,互信息与该算符的所谓态密度相关。在本文中,它表明,在最弱的信道假设下,互信息可以表示在一个矩阵值随机过程耦合的信道过程。这允许在该一般设置中的互信息的数值近似。此外,进一步假设信道脉冲响应是马尔可夫过程,则根据另一个相关的马尔可夫过程获得大信噪比状态中的互信息偏移的表示。这推广了Levy~ \emph{et.al.}以前的结果.它还说明了如何互信息表达式,这些表达式是密切相关的随机矩阵理论预测可以恢复在大的维度制度。
2019-05-08 cs.IT math.IT
Mutual Information for the Stochastic Block Model by the Adaptive Interpolation Method
严格推导了稠密图下非对称两群随机块模型的互信息的单字母变分表达式。文献中的现有证明是间接的,因为它们涉及将模型映射到秩一矩阵估计问题,然后通过方法的组合(例如,内插、空腔、算法、空间耦合)。在这方面的贡献,我们提供了一个独立的直接方法,只使用最近推出的自适应插值方法。
2019-07-16 cond-mat.dis-nn cs.IT math.IT
Differentiable Conditional Mutual Information for Multi-Terminal Linear Gaussian Wireless Networks
Nagoya Institute of Technology(名古屋工业大学)
针对多终端高斯信道,提出基于线性高斯有向无环图的可微条件互信息闭式表达式,实现端到端梯度优化,适用于加权和速率、安全速率等目标。
2026-06-23 cs.IT math.IT
On the Privacy-Utility Trade-off With and Without Direct Access to the Private Data
我们研究了信息理论隐私机制设计问题的两种情况下,私人数据是可观察的或隐藏的。在每种情况下,我们首先考虑有界的互信息作为隐私泄漏的标准,然后我们使用两个不同的每个字母的隐私约束。在第一种情况下,代理观察到与私有数据$X$相关的有用数据$Y$,并且希望向用户公开有用信息。设计了一种隐私机制以生成公开数据$U$,其在满足有界隐私泄露约束的同时最大化关于$Y$的公开信息。在第二种情况下,代理还可以访问私有数据。为此,我们首先通过放松独立性条件来扩展函数表示引理和强函数表示引理,从而允许一定的泄漏找到具有不同隐私泄漏约束的第二种情况的下界。此外,在第一种情况下,考虑到不同的隐私约束的上限和下限。特别是,对于不允许泄漏的情况下,我们的上限和下限改进了以前的边界。此外,考虑有界互信息隐私约束,我们表明,如果$X$和$Y$之间的公共信息和互信息是相等的,那么在第二种情况下,所获得的上界是紧的。最后,研究了具有优先级的私有数据的隐私-效用权衡,其中部分$X$,即,$X_1$比其余部分更私密,即,$X_2$,我们提供了下限和上限。
2022-12-23 cs.IT math.IT
Path-integral approach to mutual information calculation for nonlinear communication channel with small second dispersion at large signal-to-noise power ratio
本文针对带加性高斯噪声的非线性薛定谔方程光纤信道,利用路径积分和微扰理论计算了小色散参数下的条件概率密度泛函,并推导出大信噪比下修正高斯输入分布的互信息显式表达式。
2023-08-02 cs.IT math.IT
On Finite-Time Mutual Information
Shannon-Hartley定理可以在信号观测时间无限长的情况下精确计算信道容量。然而,有限时间互信息的计算,这仍然是未知的,是必不可少的指导实际通信系统的设计。本文研究了有限时间观测窗内两个相关高斯过程之间的互信息。我们首先推导出有限时间互信息通过提供一个极限表达式。然后,我们数值计算的互信息在一个单一的有限时间窗口。我们发现,在有限的时间窗口内,每秒传输的比特数可以超过整个时间轴上平均的互信息,这被称为双平均现象。进一步,利用迹类算子的Mercer展开,推导了典型信号自相关情形下的有限时间互信息公式,揭示了有限时间互信息问题与算子理论之间的联系.最后,我们解析地证明了在这种典型情况下的平均值的存在性,并证明了它与香农容量的兼容性。
2022-04-24 cs.IT math.IT
On conditional Sibson's $α$-Mutual Information
在这项工作中,我们分析了如何定义一个有条件的版本Sibson的$α$ -互信息。可以提出几个这样的定义,它们都导致具有不同(但类似)业务意义的不同信息计量。我们将详细分析这样一个定义,计算它的封闭形式的表达式,并认可它的操作意义,同时也考虑一些应用。其他的定义也将被提及和比较。
2021-06-08 cs.IT math.IT math.PR
Free Deterministic Equivalents for the Analysis of MIMO Multiple Access Channel
在本文中,一个自由的确定性等价提出了一个更一般的信道模型相比,以前的作品的多输入多输出(MIMO)多址信道(MAC)的容量分析。具体地,考虑具有配备有若干分布式天线集合的一个基站(BS)的MIMO MAC。用户和BS天线组之间的每个链路形成联合相关的莱斯衰落信道。该分析基于算子值自由概率理论,极大地拓宽了自由概率技术的适用范围。通过用满足一定算子自由度关系的算子值随机变量替换独立的高斯随机矩阵,得到了信道Gram矩阵的自由确定等价.推导了自由确定等价的Shannon变换,给出了信道各态历经输入输出互信息的近似表达式。基于近似遍历的输入输出互信息,推导了实现输入协方差矩阵的和速率容量。自由确定性等价结果易于计算,仿真结果表明,这些近似是数值精度和计算效率。
2016-05-23 cs.IT math.IT
Random Multiple Access for M2M Communications with QoS Guarantees
我们提出了一种新的随机多址接入(RMA)机制与服务质量(QoS)保证的机器对机器(M2M)通信。我们考虑一个时隙的不协调的数据传输周期,在此期间,机器类型通信(MTC)设备在相同的无线电信道上发送。基于延迟要求,MTC设备被划分为不同大小的组,并且传输帧被划分为不同长度的子帧。在每个子帧中,每个组被分配接入概率,MTC设备基于该接入概率来决定发送其分组的副本或保持静默。基站(BS)采用连续干扰消除(SIC)来恢复所有叠加的分组。我们推导出每个组的设备分辨率的平均概率的封闭形式的表达式,我们使用这些表达式来设计的访问概率。通过蒙特卡罗模拟验证了表达式的准确性。我们表明,所设计的访问概率可以保证高可靠性和高能源效率的QoS要求。最后,我们表明,RMA可以优于标准的协调接入方案,以及一些最近提出的M2M蜂窝网络接入方案。
2016-10-24 cs.IT math.IT
On the Capacity of a General Multiple-Access Channel and of a Cognitive Network in the Very Strong Interference Regime
1979年,Han确定了在发送节点之间具有任意消息分布的多址信道的容量,并且容量区域的表达式包含许多速率界限,并且随着消息的数量呈指数增长。我们推导出一个更紧凑的表达的容量区域中,该信道的速率界限的数量取决于在编码器的消息的分布。使用这个表达式,我们证明了一类一般的认知网络,我们表示为“非常强的干扰”制度的能力。在这种情况下,在所有接收机解码所有消息时没有速率损失,并且容量区域减少到复合多址信道的容量。该结果概括了干扰信道、认知干扰信道、具有认知中继的干扰信道和许多其他信道的“非常强的干扰”容量结果。
2012-02-05 cs.IT math.IT
Statistical Properties of Eigen-Modes and Instantaneous Mutual Information in MIMO Time-Varying Rayleigh Channels
本文研究了多输入多输出(MIMO)时变瑞利平坦衰落信道中的两个重要度量。一个是本征模,另一个是瞬时互信息(IMI)。他们的二阶统计,如相关系数,电平交叉率(LCR),和平均衰落/中断持续时间,进行了研究,假设一个一般的各向异性散射环境。精确的封闭形式的表达式推导和蒙特卡罗模拟提供验证的分析结果的准确性。对于本征模,我们发现它们往往是时空不相关的大型MIMO系统。对于IMI,结果表明,在一定条件下,其相关系数可以很好地近似为信道相关系数的平方幅度。此外,我们还发现IMI的LCR比每个本征模的LCR对散射环境更敏感。
2006-04-08 cs.IT math.IT
Estimating mutual information and multi--information in large networks
我们解决的实际问题,估计的信息关系,大型网络的特点。基于神经代码的分析方法,我们证明了互信息的可靠估计可以通过可管理的计算工作量来获得。同样的方法允许估计高阶,多信息项。这些想法通过对基因表达、金融市场和消费者偏好的分析得到了说明。在每一种情况下,信息论的措施与独立的,直观的措施,在系统中的基础结构。
2005-02-03 cs.AI cs.CV cs.IT
Calculation of Mutual Information for Partially Coherent Gaussian Channels with Applications to Fiber Optics
基于极坐标将复值信道输入与其复值输出之间的互信息分解为四个部分:幅度项、相位项和两个混合项。对加性高斯白噪声(AWGN)信道中各种输入的数值结果表明,在高信噪比(SNR)下,幅度和相位项占主导地位的混合项。对于高斯输入的AWGN信道,推导了高信噪比下的解析表达式。的分解方法被施加到部分相干的信道和属性,这样的信道称为“频谱损失”的开发。光谱损耗发生在非线性光纤信道中,并且它可能是需要考虑的一种效应,以解释最近研究中提出的非线性光纤信道的容量的行为。
2011-04-08 cs.IT math.IT
Large N Analysis of Amplify-and-Forward MIMO Relay Channels with Correlated Rayleigh Fading
在此基础上,推导了在大阵列限制下,源端与目的端之间无直接链路的平坦瑞利衰落放大转发MIMO中继信道的互信息的累积量。该分析是基于副本技巧,并涵盖了空间独立和相关的衰落在第一和第二跳,而波束成形在所有终端被限制到确定性的权重矩阵。得到了互信息的均值和方差的表达式。它们的参数由一个非线性方程组确定。当天线数n趋于无穷大时,所有较高的累积量都将消失。总之,互信息I的分布在大的n极限下变成高斯分布,并且完全由I的均值和方差的表达式表征。与仿真结果的比较表明,渐近结果作为一个很好的近似系统只有几个天线在每个节点。结果的推导遵循Moustakas等人在[1]中形式化的技术。虽然与点对点MIMO信道相比,MIMO中继信道的评估涉及更多,但结果的结构再次令人惊讶地简单。特别地,获得了用于互信息的平均值的简洁公式,即,无直接链路的两跳放大转发MIMO中继信道的遍历容量。
2006-12-22 cs.IT math.IT
Mutual Information Rate of Gaussian and Truncated Gaussian Inputs on Intensity-Driven Signal Transduction Channels
本文研究了强度驱动信号转导信道上高斯输入的互信息率,推导了其渐近表达式、近似数值解及闭式上下界,并通过仿真验证了分析的准确性。
2023-06-27 cs.IT math.IT q-bio.QM
MIMO Beamforming Design towards Maximizing Mutual Information in Wireless Sensor Network
本文研究了在具有噪声观测和多天线的相干无线传感器网络中,以最大化互信息为目标的联合波束形成器设计。利用加权最小均方误差和块坐标上升(BCA)框架,我们提出了两个新的和有效的方法:批量模式BCA和循环多块BCA。现有的批处理模式方法需要严格的条件,如对角信道矩阵和正定二阶矩阵,因此不适用于我们的问题。我们的匹配模式BCA克服了以前的限制,通过一般的二阶锥规划形成,并表现出很强的收敛性,我们已经严格证明。现有的多块方法依赖于数值求解器来处理子问题,并且一些方法仅在高信噪比下才表现出良好的性能。利用凸的情况下的信赖域子问题的凸性,我们的多块BCA显着降低了复杂性,并通过提供一个解析表达式的能量保持最优解增强了以前的结果。分析和仿真证实了所提出的方法的优点。
2015-11-11 cs.IT math.IT
On the Tradeoff Between Multiuser Diversity and Training Overhead in Multiple Access Channels
我们考虑一个单天线窄带多址接入信道中,用户发送训练序列到基站和调度的最小均方误差(MMSE)信道估计的基础上进行。在这样的系统中,在训练开销和实现的多用户分集的量之间存在固有的折衷。我们分析了一个块衰落信道与独立的瑞利分布式信道增益,其中要优化的参数是在每个块中的传输考虑的用户数和相应的时间和功率上花费的每个用户的训练。我们推导出K和L项的最优参数的封闭形式表达式,其中K是考虑在每个块中传输的用户数,L是符号中的块长度。考虑到L变大时系统的行为,我们相对于可实现速率的近似表达式优化K,并获得所得参数关于L的二阶表达式。
2011-12-11 cs.IT math.IT
Testing (Conditional) Mutual Information
本文研究互信息与条件互信息检验的样本复杂度,给出区分条件独立与条件依赖所需样本数的上界并证明其在若干参数区域紧致,同时提出模拟弱相关样本的新方法和可处理相关样本的等价性检验估计器。
2025-06-04 cs.DS cs.IT math.IT
On the Optimality of Treating Interference as Noise for Interfering Multiple Access Channels
在本文中,我们期待在高斯干扰多址接入信道(IMAC)的问题,作为噪声(TIN)的干扰。所考虑的网络包括$K$相互干扰的多址信道(MAC),每个MAC由两个发送器组成,发送独立的消息到一个接收器。我们定义的TIN方案为这个通道,其中每个MAC执行其容量实现策略的功率控制版本,同时将来自所有其他MAC的干扰视为噪声。我们描述了一个可实现的广义自由度(GDoF)的区域下的TIN计划,并确定一个政权的参数(在信道强度水平方面),该区域是最佳的。
2018-05-12 cs.IT math.IT
Mutual information for low-rank even-order symmetric tensor estimation
考虑有限秩对称张量分解的统计模型,证明了当张量为偶数阶时,其渐近互信息的单字母变分表达式。证明应用自适应插值方法最初发明的秩一分解。在这里,我们展示了如何将自适应插值扩展到有限秩和偶数阶张量。这就需要新的非平凡的想法,在目前的分析文献。我们还强调证明不足时,处理奇数阶张量。
2020-09-23 cond-mat.dis-nn cs.IT math-ph
Channel Dependent Mutual Information in Index Modulations
互信息是用于执行链路自适应的度量,其允许实现接近容量的速率。自适应传输模式的计算是通过使用信噪比和互信息之间的映射来实现的。由于互信息计算的高度复杂性,该过程通过蒙特卡洛模拟离线执行,其结果存储在查找表中。然而,在诸如空间调制或极化调制的索引调制中,这是不可行的,因为星座和互信息是信道相关的,并且如果信道是时变的,则需要在每个时刻计算该度量。在本文中,我们提出了不同的近似,以获得一个简单的封闭形式的表达式,允许计算在每个时刻的互信息,从而使可行的链路自适应。
2018-07-25 cs.ET cs.IT eess.SP
Global Optimal Closed-Form Solutions for Intelligent Surfaces With Mutual Coupling: Is Mutual Coupling Detrimental or Beneficial?
Imperial College London(帝国理工学院);Kyung Hee University(庆熙大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本研究针对具有互耦的超越对角可重构智能表面(BD-RIS),推导了全连接和树连接架构的全局最优闭式解,证明互耦在瑞利衰落信道下平均有益,且能达相同增益上界,忽视互耦可致5dB损失。
2025-10-25 cs.IT eess.SP math.IT
Mutual Information Estimation via Normalizing Flows
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Sirius University of Science and Technology(天狼星科技大学);Skoltech(斯科尔科沃科学技术研究院);MIPT(莫斯科物理技术学院);Sirius(天狼星科技大学)
提出基于归一化流的互信息估计新方法,通过映射到易估计的目标分布并利用闭式表达式,提供理论保证并在高维数据实验中展示优势。
2024-05-25 cs.IT cs.LG math.IT
The Mutual Information in Random Linear Estimation
我们认为,从噪声的线性随机高斯投影的知识,在压缩感知,稀疏叠加码或码分多址相关的问题,只是举几个信号的估计。已经有一些工程考虑这个问题的互信息使用启发式副本方法从统计物理。在这里,我们把这些考虑放在一个坚定的严格的基础上。首先,我们表明,使用Guerra型插值,副本公式产生一个上界的确切互信息。其次,对于许多相关的实际情况下,我们提出了一个逆下界的方法,使用空间耦合,状态演化分析和I-MMSE定理。这产生,特别是,一个单一的字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。
2016-09-06 cs.IT math-ph math.IT
Asymptotic Mutual Information for the Two-Groups Stochastic Block Model
我们开发了一个随机块模型,一个流行的统计模型的复杂网络的大规模结构的信息论的观点。从这样的模型生成的图$G$首先从有限字母表中随机分配顶点标签,然后根据端点的标签用边概率连接顶点。在对称两群模型的情况下,我们建立了一个明确的“单字母”的表征每顶点之间的互信息的顶点标签和图。互信息的明确表达是密切相关的估计理论量,并-特别是-揭示了一个相变的临界点社区发现。在临界点以下,每顶点互信息渐近地相同,就好像边是独立的一样。相应地,没有算法比随机猜测更好地估计分区。相反,在阈值以上,每顶点互信息严格小于独立边上界。在这种情况下,存在一个程序,估计顶点标签比随机猜测。
2015-07-30 cond-mat.stat-mech cs.IT math.IT
Capacity of Differential versus Non-Differential Unitary Space-Time Modulation for MIMO channels
差分酉空时调制(DUSTM)及其早期的非差分对应物USTM允许高吞吐量MIMO通信,而发射机或接收机完全不拥有信道状态信息(CSI)。对于各向同性随机酉输入,我们得到了精确的封闭形式的表达的概率密度的DUSTM接收信号,这使得直接的Monte Carlo评估其互信息。我们比较了DUSTM和USTM的性能,通过数值计算的互信息,并通过分析低和高信噪比的渐近表达式。在我们的比较中,等效酉空时信号的符号持续时间都等于T,接收天线的数量N也等于T。对于DUSTM,发射天线的数量被方案约束为M = T/2,而USTM没有这样的约束。如果DUSTM和USTM在高SNR下利用相同数量的发射天线,则以比特/秒/Hz表示的差分和非差分方案的归一化互信息渐近相等,其中差分方案执行得稍微好一些,而在低SNR下,DUSTM的归一化互信息渐近为USTM的归一化互信息的两倍。相反,如果USTM利用最佳数量的发射天线,则USTM可以在足够低的SNR下胜过DUSTM。
2005-12-12 cond-mat.stat-mech cs.IT math-ph
Distribution of Mutual Information
具有联合概率t_ij的两个随机变量i和j的互信息通常用于学习贝叶斯网以及许多其他领域。机会t_ij通常通过经验采样频率n_ij/n来估计,从而导致互信息的点估计I(n_ij/n)。为了回答像“I(n_ij/n)与零一致吗?或者“真实的互信息比点估计大得多的概率是多少?“我们必须超越点估计。在贝叶斯框架中,可以通过利用包括关于t的先验信息的(二阶)先验分布p(t)来回答这些问题。根据先验p(t),可以计算后验p(t| n),由此得到分布p(I| n)的互信息。我们得到可靠的和快速计算的近似p(I| n)。我们专注于均值,方差,偏度,峰度和非信息先验。对于平均值,我们也给出了精确的表达式。数值问题和有效性的范围进行了讨论。
2001-12-15 cs.AI cs.IT math.IT
Sensing Mutual Information with Random Signals in Gaussian Channels
本文针对高斯信道中随机信号的感知互信息,推导其闭式表达式,并利用流形优化设计预编码器,以提升集成感知与通信系统的感知性能。
2023-11-13 cs.IT eess.SP math.IT
Discriminative Mutual Information Estimators for Channel Capacity Learning
University of Klagenfurt(克拉根福大学)
信道容量在现代通信系统的发展中起着至关重要的作用,因为它代表了信息可以在通信信道上可靠传输的最大速率。然而,对于大多数渠道,找到一个封闭的形式的能力表达式仍然是一个开放的挑战。这是因为它需要执行两个艰巨的任务a)计算信道输入和输出之间的互信息,以及b)其关于信道输入处的信号分布的最大化。在本文中,我们解决这两个任务。受隐式生成模型的启发,我们提出了一种新的协作框架,用于自动学习任何类型的无记忆信道的信道容量。特别是,我们首先开发了一种新的方法来估计的互信息直接从一个典型的部署到训练对抗网络,称为歧视性互信息估计(DIME)。其次,我们包括合作信道容量学习框架,称为皮质,其中一个学习区分依赖和独立的信道输入输出样本,而发电机学习产生最佳的信道输入分布,其中的学习表现出最佳的性能。最后,我们证明了一个特定的选择的合作价值函数解决了信道容量估计问题。仿真结果表明,该方法具有较高的精度。
2021-07-07 cs.IT cs.LG math.IT
On Tightness of Mutual Dependence Upperbound for Secret-key Capacity of Multiple Terminals
Csiszar和Narayan[3]定义了多个终端秘密密钥容量的概念,将其描述为全知通信中相关信源编码问题的一个带有Slepian-Wolf约束的线性规划,并通过私人观测的联合分布到乘积分布的某种信息发散表达式来上界它。本文利用信源编码问题的多项式结构[6]证明了当所有用户都是活动的重要情况下,该界是紧的。当一些用户不活跃时,界限可能不紧。本文给出了一个反例,其中6个终端中有3个是活动的。
2008-06-16 cs.CR cs.IT math.CO
Learning to Maximize Mutual Information for Dynamic Feature Selection
University of Washington(华盛顿大学)
针对动态特征选择问题,本文提出基于条件互信息与摊销优化的贪婪特征选择学习方法,可在最优训练下恢复贪婪策略,并在实验中优于多种现有方法。
2023-06-08 cs.IT cs.LG math.IT