Covariance-Based Hybrid Beamforming for Spectrally Efficient Joint Radar-Communications
联合雷达通信(JRC)被认为是部署下一代系统的关键技术,因为它有助于缓解射频(RF)频谱的拥塞,并利用相同的硬件资源实现双重功能。将JRC系统用于双重功能会在两种操作之间产生干扰,这需要在未来的标准化中解决。此外,可以通过部署混合波束成形来推进JRC系统,该混合波束成形实现比发射天线的数量更少数量的RF链。本文设计了一种鲁棒的混合波束形成器,通过RF链选择使互信息最大化来最小化JRC发射机的干扰。我们考虑一个加权的互信息的双功能JRC系统和实现一个共同的模拟波束形成器的操作。互信息最大化问题是一个非凸且难以求解的问题。将该问题简化为凸形式,并利用基于分式规划的Dinkelbach逼近进行求解.基于最优RF选择的方法的性能进行评估,与基线相比,其有效性通过数值结果推断。
2022-11-15 cs.IT eess.SP math.IT
Certain Relations between Mutual Information and Fidelity of Statistical Estimation
我提出了几个新的互信息(MI)和统计估计误差的系统,可以被视为同时作为一个通信信道和输入参数的估计之间的关系。我首先推导出MI和费舍尔信息(FI)之间的二阶结果,该结果对于足够窄的先验信息是有效的,但任意通道。第二个关系式根据来自信道输出的输入参数的贝叶斯估计的最小均方误差(MMSE)来描述MI的下限,这对于任意信道和先验都是有效的。这样一个下界的存在,而扩展以前的工作有关MI FI是有效的,只有在渐近和高信噪比的限制,进一步阐明了信息和估计理论的保真度措施之间的基本联系。其余的关系,我目前的不平等和MI,FI之间的对应关系,和MMSE在滋扰参数的存在。
2010-10-07 cs.IT math.IT stat.AP
Optimization of sequences in CDMA systems: a statistical-mechanics approach
统计力学方法不仅可用于分析无线通信系统的宏观系统性能,而且可用于讨论无线通信系统的设计问题。本文讨论了码分多址(CDMA)系统中扩频序列的设计问题,作为一个例子,说明了统计力学方法的实用性。本文用复制方法分析了随机扩频CDMA信道输入输出之间的平均互信息,并讨论了以平均互信息作为优化度量的优化问题。它已被证明是最大化的平均互信息正交不变的随机Welch界相等(WBE)扩展序列。
2008-10-01 cs.IT math.IT
Statistical Properties of Eigen-Modes and Instantaneous Mutual Information in MIMO Time-Varying Rayleigh Channels
本文研究了多输入多输出(MIMO)时变瑞利平坦衰落信道中的两个重要度量。一个是本征模,另一个是瞬时互信息(IMI)。他们的二阶统计,如相关系数,电平交叉率(LCR),和平均衰落/中断持续时间,进行了研究,假设一个一般的各向异性散射环境。精确的封闭形式的表达式推导和蒙特卡罗模拟提供验证的分析结果的准确性。对于本征模,我们发现它们往往是时空不相关的大型MIMO系统。对于IMI,结果表明,在一定条件下,其相关系数可以很好地近似为信道相关系数的平方幅度。此外,我们还发现IMI的LCR比每个本征模的LCR对散射环境更敏感。
2006-04-08 cs.IT math.IT
Quantifying High-order Interdependencies via Multivariate Extensions of the Mutual Information
本文介绍了一种模型不可知论的方法来研究统计协同效应,这是一种涌现形式,其中大尺度的模式无法从较低尺度追溯。我们的框架利用香农的互信息的各种多元扩展,并引入O-信息作为一个度量能够表征协同和冗余主导的系统。我们开发的O-信息的关键分析属性,并研究它如何涉及到其他指标的高阶相互作用的统计力学和神经科学文献。最后,作为一个概念的证明,我们使用建议的框架,探索巴洛克音乐乐谱统计协同的相关性。
2019-02-28 cs.IT math.IT q-bio.NC
Mutual Information Optimally Local Private Discrete Distribution Estimation
考虑具有局部$ε$ -差分隐私的统计学习(例如离散分布估计),其在局部保护每个数据提供者的隐私,我们的目标是在隐私约束下优化统计数据效用。具体来说,我们研究了最大化提供者的数据和它的私有视图之间的互信息,并给出了确切的互信息界以及一个可实现的机制:$k$ -子集机制的结果。该互信息优化机制随机输出具有精细概率分配的原始数据域的大小$k$子集,其中$k$随隐私级别$ε$和数据域大小$d$而变化。从互信息的角度分析了现有局部私有机制的局限性,提出了一种有效的离散分布估计的$k$ -子集机制的实现,并证明了其优于现有方法的最优性保证.
2016-07-27 cs.IT math.IT
Identifying statistical dependence in genomic sequences via mutual information estimates
理解和量化生物体中信息的表示和数量的问题已成为生物学研究的核心部分,因为它们可能是根本性进步的关键。在本文中,我们展示了使用信息理论工具的任务,确定部分的生物分子(DNA或RNA)的统计相关。我们开发了一种精确可靠的方法,基于互信息的概念,用于查找和提取统计和结构依赖关系。定义了一个简单的阈值函数,并探讨了其在量化生物片段之间的依赖关系的显着性水平中的应用。这些工具用于两个特定的应用程序。首先,鉴定玉米zmSRp32基因不同部分之间的相关性。在那里,我们发现zmSRp32中的5 '非翻译区与其可变剪接外显子之间存在显著的依赖性。这一观察结果可能表明存在至今未知的可变剪接机制或结构支架。其次,使用联邦调查局的联合DNA索引系统(CODIS)的数据,我们证明了我们的方法是特别适合的问题,发现短串联重复序列,在遗传分析的重要应用。
2007-10-26 cs.IT math.IT q-bio.GN
On the Linear Precoder Design for MIMO Channels with Finite-Alphabet Inputs and Statistical CSI
本文研究了线性预编码器的设计,最大化的平均互信息的多输入多输出信道与有限的字母输入和统计信道状态信息已知的发射机。这种线性预编码器的设计是一个重要的开放问题,是非常难以解决的:第一,平均互信息缺乏封闭形式的表达,涉及复杂的计算;第二,预编码器的优化问题是非凹的。本研究探索了这一问题的解决方案,并做出了以下贡献:1)推导出平均互信息的封闭形式下界。该算法在低信噪比和高信噪比下均达到渐近最优,并且在恒定位移的情况下,能精确逼近平均互信息; 2)揭示了预编码器的最优结构,并提出了一种统一的两步迭代算法。数值算例表明了算法的收敛性和有效性。与传统的预编码方法相比,本文提出的线性预编码方法具有显著的性能增益。
2011-09-06 cs.IT math.IT
Formal Limitations on the Measurement of Mutual Information
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Rutgers University(罗格斯大学)
从有限的数据中测量互信息是困难的。最近的工作考虑变分方法最大化的下限。在本文中,我们证明了严重的统计局限性是固有的任何方法来衡量互信息。更具体地说,我们证明了任何分布自由的高置信下限互信息估计从N个样本不能大于O(ln N)。
2020-05-20 cs.IT cs.LG math.IT
Sensing Mutual Information for Communication Signal with Deterministic Pilots and Random Data Payloads
School of Cyber Science and Engineering, Southeast University(东南大学网络空间安全学院);School of Information Science and Engineering, Southeast University(东南大学信息科学与工程学院);School of Electrical, Computer, and Telecommunications Engineering, University of Wollongong(伍伦贡大学电气、计算机和电信工程学院);Division of Integrative Systems and Design and the Department of Electronic and Computer Engineering, the Hong Kong University of Science and Technology(香港科技大学集成系统与设计分部及电子与计算机工程系)
本文研究了在确定性导频和随机数据载荷共同存在的通信信号中,通过随机矩阵理论推导感知互信息并设计预编码方案,以提高ISAC系统的感知性能。
2026-01-16 cs.IT math.IT
Properties of Persistent Mutual Information and Emergence
持续互信息(PMI)是随机过程的一种复杂性度量。它与众所周知的复杂性度量有关,如超额熵或统计复杂性。从本质上讲,它是过剩熵的一种变化,因此它可以被解释为系统内部记忆的一种特定度量。PMI最早由Ball、Diakonova和MacKay于2010年提出,作为衡量(强势)崛起的指标。在本文中,我们定义的PMI数学和调查的关系,过剩熵和统计复杂性。特别是我们证明了过剩熵是PMI的一个上界。此外,我们展示了PMI的一些属性,并计算它明确的一些示例过程。我们还讨论了在何种程度上它是一个措施的出现,并比较它与其他方法用于正式出现。
2012-10-18 cs.IT math-ph math.IT
Mutual Information in Frequency and its Application to Measure Cross-Frequency Coupling in Epilepsy
我们定义了一个度量,频率互信息(MI-频率),检测和量化数据中不同频率分量之间的统计依赖关系,称为交叉频率耦合,并将其应用于大脑的电生理记录,以推断交叉频率耦合。目前神经科学中用于量化交叉频率耦合的指标无法检测非高斯脑记录中的两个频率分量是否统计独立。我们的MI在频率度量,基于香农的Cramer的表示的随机过程之间的互信息,克服了这一缺点,可以检测非高斯信号之间的频率的统计依赖性。然后,我们描述了两个数据驱动的估计MI的频率:一个基于核密度估计和最近邻算法的基础上,并验证其性能的模拟数据。然后,我们使用频率中的MI来估计两个数据流之间的互信息,这两个数据流在时间上是依赖的,而不需要进行任何参数模型假设。最后,我们使用频率中的MI度量来研究癫痫发作期间从皮层脑电图记录的癫痫发作区的交叉频率耦合。推断的交叉频率耦合特性对于优化基于电刺激的癫痫治疗的空间和频谱参数是必不可少的。
2018-03-15 cs.IT eess.SP math.IT
Mutual Information and Conditional Mean Prediction Error
互信息对于测量变量之间的统计相关性以及对于通过信令和通信机制来量化信息传递是根本重要的。然而,评估这种机制的物理模型并根据数据进行可靠的估计可能具有挑战性。此外,它与更广为人知的统计程序的关系仍然知之甚少。在这里,我们探索新的连接之间的互信息和基于回归的依赖措施,$ν^{-1}$,利用的条件均值预测误差的二阶矩矩阵的行列式。我们研究$ν\rightarrow0$的收敛性,并建立了$\mathrm{log}(ν^{-1/2})$形式的互信息和容量的下界。该界限比基于Pearson相关性的下限和使用平均均方-出错率失真参数导出的下限更严格。此外,他们的估计是可行的,使用非参数回归技术。作为一个例子,我们提供了自举置信区间的下限,通过使用一个复合估计,大大提高了互信息的基础上$k$ -最近邻估计单独的推断。
2014-07-26 cs.IT math.IT math.PR
Quantum Meets Statistical-Physical Secrecy: A Novel Hybrid Key Distribution Architecture
Tampere University(坦佩雷大学);Koç University(科奇大学)
本文提出一种结合量子密钥分发和Kirchhoff定律-约翰逊噪声的混合密钥分发架构,通过优化光子BB84型QKD链路与并行有线KLJN链路协同工作,提升短距离基础设施的密钥生成效率和吞吐量。
2026-06-23 cs.CR cs.IT math.IT
Estimating Total Correlation with Mutual Information Estimators
全相关(TC)是信息论中的一个基本概念,用来度量多个随机变量之间的统计相关性。最近,TC在许多学习任务中作为正则化器显示出显著的有效性,其中多个潜在嵌入之间的相关性需要联合最小化或最大化。然而,计算精确的TC值是具有挑战性的,特别是当嵌入变量的封闭形式分布是未知的。在本文中,我们介绍了一个统一的框架来估计总的相关值与基于样本的互信息(MI)估计。更具体地说,我们发现了TC和MI之间的关系,并提出了两种类型的计算路径(树状和线状)分解TC到MI条款。在每个MI项都有界的情况下,可以成功地估计TC值。此外,我们提供了理论分析的统计一致性建议TC估计。实验上的合成和现实世界的情况下,我们的估计证明在所有TC估计,最小化和最大化任务的有效性。该代码可在https://github.com/Linear95/TC-estimation上获得。
2023-02-22 cs.IT math.IT
Energy Efficiency of Hybrid-ARQ under Statistical Queuing Constraints
本文通过表征每比特最小能量和宽带斜率,研究了具有统计排队约束的混合自动重传请求(HARQ)方案在恒定速率和随机马尔可夫到达情况下的能量效率。的能量效率进行调查时,或者中断约束和(相应地选择的传输速率)或传输速率进行优化,以最大限度地提高吞吐量。在这两种情况下,还假设由于最后期限约束而存在对重传次数的限制。在这些假设下,封闭形式的表达式获得的最小能量每比特和宽带斜率的HARQ与追赶合并(CC)。通过数值计算,比较了HARQ-CC和增加冗余(IR)的HARQ的性能。分析了信源变化/突发性、截止期约束、中断概率、排队约束等因素对能量效率的影响。
2015-10-08 cs.IT math.IT
A Covariance-Based Hybrid Channel Feedback in FDD Massive MIMO Systems
针对频分双工(FDD)大规模多输入多输出(MIMO)系统,研究了一种新的基于协方差的信道反馈机制。这个概念利用了用户统计可分性的概念,这在大规模天线制度的几个先前的工作中得到了暗示,但迄今为止还没有充分利用。在这里,我们提出了一种混合的瞬时反馈机制,用户被分为两类反馈设计的基础上,他们的信道协方差。在该混合框架下,每个用户根据其所谓的统计可隔离性或者工作在统计反馈模式或者量化的瞬时信道反馈模式。关键的挑战在于设计一个协方差感知的分类算法,它可以处理所有用户之间复杂的相互作用。该分类是从速率约束原理推导出来的。在混合统计和瞬时反馈模型下,设计了一种合适的预编码方法。仿真结果验证了我们的分析结果,并说明了所提出的反馈方案下的全局反馈开销约束的和速率优势。
2019-10-07 cs.IT math.IT
Mutual information for symmetric rank-one matrix estimation: A proof of the replica formula
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);CNRS(法国国家科学研究中心);PSL Universités et Ecole Normale Supérieure(巴黎文理研究大学和巴黎高等师范学院);Sorbonne Universités et Université Pierre & Marie Curie(索邦大学和皮埃尔和玛丽居里大学);CEA(法国原子能和替代能源委员会);Université Paris-Saclay(巴黎萨克雷大学)
分解低秩矩阵在机器学习和统计学中有许多应用。对于贝叶斯最优设置下的概率模型,利用启发式统计物理计算提出了互信息的一般表达式,并在一些特定情况下得到了证明。在这里,我们展示了如何严格证明对称秩一情况下的约束公式。这允许表达的最小均方误差,并在一个大的估计问题,范围从社区发现稀疏PCA的可检测性相变的特征。我们还表明,对于一个大的参数集,称为近似消息传递的迭代算法是贝叶斯最优的。然而,在目前已知的多项式算法所能做的与理论上所期望的信息之间存在差距。此外,证明技术有自己的兴趣,并利用三个基本成分:Guerra在统计物理学中引入的插值方法,近似消息传递算法的分析以及编码中的空间耦合和阈值饱和理论。我们的方法是通用的,适用于其他开放的问题,在统计估计启发式统计物理预测。
2016-06-13 cond-mat.dis-nn cs.IT cs.LG
Channel Measurement and Ray-Tracing-Statistical Hybrid Modeling for Low-Terahertz Indoor Communications
太赫兹(THz)通信由于其前所未有的多GHz带宽而被设想为有前途的技术。迁移到新频谱时的一个基本挑战是了解无线电传播科学并开发准确的信道模型。在本文中,宽带信道测量活动之间的130 GHz和143 GHz的研究在一个典型的会议室。定向天线被利用和旋转,用于解决角域中的多径分量(MPC)。通过仔细的系统校准,消除系统误差和天线效应,开发出一个真实的功率延迟分布。此外,提出了一种结合MPC聚类和匹配过程与光线追踪技术来研究太赫兹信号的聚类行为和波的传播。根据测量结果,全面分析了太赫兹室内信道的物理参数,包括视距路径损耗、功率分布、时间和空间特性以及太赫兹多径特性之间的相关性。最后,结合光线追踪和统计方法的混合信道模型的发展太赫兹室内通信。数值结果表明,该混合信道模型与实测结果吻合较好,在时空特性方面优于传统的基于统计和几何的随机信道模型.
2021-01-29 cs.IT math.IT
Beyond the I-MMSE relation: derivatives of mutual information in Gaussian channels
本文针对矢量高斯信道推导了互信息关于信噪比各阶导数的一般公式,揭示了其与统计理论中经典累积量-矩关系的显著相似性。
2024-08-25 cs.IT math.IT
Hybrid Active and Passive Sensing for SLAM in Wireless Communication Systems
将传感功能集成到未来的移动设备中已成为一个重要趋势。在现有的通信硬件架构下实现不同类型的感知并实现相互增强,是实现感知与通信深度融合的关键挑战。在5G新无线电上下文中,可以通过用户设备(UE)侧的上行链路波束扫描来执行主动感测,以观察周围环境。此外,UE可以通过下行链路信道估计来执行被动感测,以测量多径分量(MPC)信息。本研究首次提出了一种结合主动和被动感知的混合同时定位与地图构建(SLAM)机制,在通信系统中实现了两种感知模式之间的相互增强。具体来说,我们首先建立一个共同的功能与反射表面桥接主动和被动传感,从而实现信息融合。基于这一共同特征,我们可以通过MPC在主动感知的辅助下实现物理锚点的初始化。然后,我们扩展了经典的概率数据关联SLAM机制来实现UE定位,并通过后续的被动感知不断细化物理锚点和目标反射。数值结果表明,所提出的混合主动和被动传感为基础的SLAM机制可以成功地工作在棘手的场景中,没有任何先验信息的平面图,锚,或代理。此外,所提出的算法表现出显着的性能增益相比,主动或被动传感的机制。
2022-03-19 cs.IT eess.SP math.IT
A Variational Characterization of $H$-Mutual Information and its Application to Computing $H$-Capacity
该研究提出$H$-互信息的变分表征,并基于此设计交替优化算法以计算$H$-容量,拓展了这类广义信息泄露度量的计算方法。
2024-06-20 cs.IT math.IT
Max-Sliced Mutual Information
Ben-Gurion University(本-古里安大学);Cornell University(康奈尔大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出最大切片互信息(mSMI),通过最大化高维变量低维投影间的互信息推广 CCA,并给出神经估计器、非渐近误差界及多任务实验验证。
2023-09-28 cs.IT cs.LG math.IT
Mutual information for low-rank even-order symmetric tensor estimation
考虑有限秩对称张量分解的统计模型,证明了当张量为偶数阶时,其渐近互信息的单字母变分表达式。证明应用自适应插值方法最初发明的秩一分解。在这里,我们展示了如何将自适应插值扩展到有限秩和偶数阶张量。这就需要新的非平凡的想法,在目前的分析文献。我们还强调证明不足时,处理奇数阶张量。
2020-09-23 cond-mat.dis-nn cs.IT math-ph
Strong Privacy and Utility Guarantee: Over-the-Air Statistical Estimation
我们认为,从分布式数据,用户通信到中央处理器的高斯多址信道(MAC)的统计估计的隐私问题。为了避免在数字传输方案中不可避免地牺牲数据效用来保护隐私,我们设计了一种利用MAC信道的可加性的空中估计策略。以信道输出与用户数据之间的互信息为度量,得到了该方案的隐私界,并验证了该方案在不产生较大估计误差的情况下能够保证较强的隐私性。此外,为了增加我们的方法的鲁棒性,我们调整我们的主要计划,通过添加高斯噪声本地和条件下的互信息约束下,得到相应的最小最大均方误差。比较我们的方法的数字的性能,我们表明,极大极小误差减少了$O(\frac{1}{n})$一般,这表明在空中估计的优势,为保护数据的隐私和效用。
2020-11-02 cs.IT math.IT math.ST
Sibson $α$-Mutual Information and Its Variational Representations
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);American University of Beirut(贝鲁特美国大学)
本文综述并拓展Sibson α-互信息的研究,引入其变分表示,推导广义运输成本不等式等新结果并概述其多领域应用。
2026-08-13 cs.IT math.IT math.PR
An information theoretic approach to statistical dependence: copula information
我们讨论了信息和Copula理论之间的连接,表明Copula可以用来分解成边际和依赖成分的多元分布的信息内容,后者量化的互信息。我们将信息过剩定义为偏离最大熵分布的度量。还讨论了边际不变相关性测度的概念,并用于表明经验线性相关性低估了非高斯边际情况下实际相关性的幅度。互信息的Copula的渐近经验对数似然提供了一个上限。提供了一个解析表达式的信息过剩的T-copula,允许简单的模型识别在这个家庭。我们用一组金融数据来说明这个框架。
2009-11-21 cs.IT math.IT physics.data-an
Minimizing couplings in renormalization by preserving short-range mutual information
统计力学中的重整化与信息论之间的联系是直观的,但令人满意的理论处理仍然难以捉摸。最近,Koch-Janusz和Ringel提出通过最小化长程互信息的损失来选择经典晶格系统的实空间重整化映射[Nat. Phys. 14,578(2018)]。这种技术的成功部分与重整化哈密顿量中长程耦合的最小化有关[Lenggenhager等人,版本X 10,011037(2020)]。我们表明,为了最大限度地减少这些耦合的重整化映射应该,有点违反直觉,而不是选择,以尽量减少块和它的边界之间的短程互信息的损失。此外,前面的最小化是这种方法的放松,这表明,保持远程物理和消除短程耦合的目标是以一种非平凡的方式相关。
2021-07-02 cond-mat.stat-mech cs.IT math.IT
Mutual Information Scaling and Expressive Power of Sequence Models
Massachusetts Institute of Technology(麻省理工学院)
序列模型将概率分配给可变长度序列,例如自然语言文本。序列模型捕捉时间相关性的能力可以通过相关性和互信息的时间尺度来表征。在本文中,我们研究了循环神经网络(RNN)的互信息,包括长短期记忆和自我注意网络,如Transformers。通过对线性RNN的理论研究和对非线性RNN的实证研究相结合,我们发现它们的互信息随时间距离呈指数衰减。另一方面,Transformers可以更有效地捕获长距离互信息,使得它们在建模具有慢幂律互信息的序列(例如自然语言和股票价格)时是优选的。我们讨论这些结果与统计力学的联系。我们还指出了许多自然语言数据集的非均匀性问题。我们希望这项工作提供了一个新的视角来理解序列模型的表达能力,并为改进它们的体系结构提供新的思路。
2019-05-10 cond-mat.dis-nn cs.IT cs.LG
Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究混合强化学习设置,提出一种三阶段算法,在数据收集时无需奖励信息,通过单策略部分集中性概念指导离线与在线数据结合,在样本复杂度上超越纯离线和纯在线RL。
2023-05-17 cs.IT cs.LG math.IT
Robust Generalization via $α$-Mutual Information
EPFL(洛桑联邦理工学院);American University of Beirut(贝鲁特美国大学)
这项工作的目的是提供边界连接两个概率测量同一事件使用雷尼$α$ -分歧和Sibson的$α$ -互信息,分别推广的Kullback-Leibler分歧和香农的互信息。当所考虑的两个概率度量是联合分布和边际的相应乘积(代表统计独立情景)时,可以找到感兴趣的特定情况。在这种情况下,检索使用Sibson的$α-$互信息的界限,将涉及最大泄漏的结果扩展到一般字母表。这些结果具有广泛的应用,从限制学习算法的泛化误差到自适应数据分析的更一般的框架,只要所使用的发散和/或信息度量服从于这样的分析({ \it,}对后处理和自适应合成具有鲁棒性)。相对于高概率事件的泛化误差的界限,但相应的预期泛化误差的界限也检索。
2020-01-14 cs.IT cs.LG math.IT
The Mutual Information in Random Linear Estimation
我们认为,从噪声的线性随机高斯投影的知识,在压缩感知,稀疏叠加码或码分多址相关的问题,只是举几个信号的估计。已经有一些工程考虑这个问题的互信息使用启发式副本方法从统计物理。在这里,我们把这些考虑放在一个坚定的严格的基础上。首先,我们表明,使用Guerra型插值,副本公式产生一个上界的确切互信息。其次,对于许多相关的实际情况下,我们提出了一个逆下界的方法,使用空间耦合,状态演化分析和I-MMSE定理。这产生,特别是,一个单一的字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。
2016-09-06 cs.IT math-ph math.IT
Statistical limits of dictionary learning: random matrix theory and the spectral replica method
International Center for Theoretical Physics (ICTP)(国际理论物理中心);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
我们考虑在贝叶斯最优设置中越来越复杂的矩阵去噪和字典学习模型,在具有挑战性的制度中,要推断的矩阵的秩随着系统大小线性增长。这与大多数涉及低秩的现有文献(即,固定等级)制度。我们首先考虑一类旋转不变矩阵去噪问题,其互信息和最小均方误差可使用随机矩阵理论的技术来计算。接下来,我们分析更具挑战性的字典学习模型。要做到这一点,我们介绍了一种新的组合的副本方法从统计力学与随机矩阵理论,创造谱副本方法。这使我们能够推导出变分公式之间的互信息隐藏的表示和噪声数据的字典学习问题,以及量化的最佳重建误差的重叠。该方法将$Θ(N^2)$矩阵元素的自由度减少到$Θ(N)$特征值(或奇异值),并得到了物理学中矩阵模型的互信息的库仑气体表示.的主要成分是一个组合的随机矩阵的大偏差的结果,连同一个新的副本对称解耦anastomic在一定的重叠矩阵的特征值(或奇异值)的概率分布的水平和使用HarishChandra-Itzykson-Zuber球面积分。
2022-02-26 cond-mat.dis-nn cs.IT cs.LG
Asymptotic Mutual Information for the Two-Groups Stochastic Block Model
我们开发了一个随机块模型,一个流行的统计模型的复杂网络的大规模结构的信息论的观点。从这样的模型生成的图$G$首先从有限字母表中随机分配顶点标签,然后根据端点的标签用边概率连接顶点。在对称两群模型的情况下,我们建立了一个明确的“单字母”的表征每顶点之间的互信息的顶点标签和图。互信息的明确表达是密切相关的估计理论量,并-特别是-揭示了一个相变的临界点社区发现。在临界点以下,每顶点互信息渐近地相同,就好像边是独立的一样。相应地,没有算法比随机猜测更好地估计分区。相反,在阈值以上,每顶点互信息严格小于独立边上界。在这种情况下,存在一个程序,估计顶点标签比随机猜测。
2015-07-30 cond-mat.stat-mech cs.IT math.IT
Using time-delayed mutual information to discover and interpret temporal correlation structure in complex populations
本文讨论了如何计算和解释的时间延迟互信息的一个复杂的,离散的和稀疏的测量,可能是非平稳的人口的时间序列的未知组成和起源。用于此分析的主要工具是在总体上平均的时间延迟互信息与聚集总体的时间延迟互信息之间的比较(这里聚集意味着在实施任何统计估计之前将总体结合)。通过使用信息理论工具,一系列实际可实现的计算进行了详细说明,允许的平均和聚合的时间延迟的互信息进行解释。此外,这些计算也可用于了解人群中存在的同质性或异质性程度。为了证明所提出的方法可以用于几乎任何情况下,该方法被应用和演示的时间序列的葡萄糖测量从两个不同的亚群的个人从哥伦比亚大学医学中心电子健康记录库,揭示了人口的组成以及生理特征的图片。
2011-10-18 cs.IT math.DS math.IT