Considering dynamical synergy and integrated information; the unusual case of minimum mutual information
本文研究了二元动态过程中时间协同与整合信息的估计问题,揭示了基于最小互信息的协同估计量存在无法区分真正整合系统与一阶自相关非整合系统等数学局限性,并推导了整合信息减少而协同性增加的条件及其对神经科学等领域的影响。
2024-07-23 cs.IT math.IT q-bio.NC
Subadditivity Beyond Trees and the Chi-Squared Mutual Information
2000年Evans等人[Eva+00]证明了具有二进制顶点标签和对称信道的树上广播模型中互信息的次可加性。他们提出了这样的次可加性是否以某种适当的方式扩展到圈图的问题。我们最近提出了这样一个扩展,适用于一般图和二进制顶点标签[AB18],使用同步模型和依赖于渗流边界。然而,这种扩展要求边缘通道在相邻自旋的乘积上对称。在[PW18]中也获得了适用于不对称通道的这种渗流界限的更一般版本,依赖于SDPI,但次可加性属性不遵循这种概括。在这篇文章中,我们提供了一个新的结果表明,次可加性属性仍然适用于任意(非对称)通道作用于自旋的产品,当图被限制为串并联。证明依赖于卡方互信息的使用,而不是经典的互信息,并讨论了前者的各种性质。我们还提出了树上广播模型(树上同步)的推广,其中依赖于SPDI的[PW18]的界限可能比这里提出的卡方次可加性属性产生的界限显着宽松。
2019-02-06 cs.IT math.IT math.PR
Minimum Energy Analysis for Robust Gaussian Joint Source-Channel Coding with a Square-Law Profile
失真-噪声分布是指示信道中每个噪声水平的最大允许源失真值的函数。本文研究了高斯信源在高斯信道中鲁棒传输时,达到失真噪声轮廓所需的最小能量。我们提供了改进的下限和上限的平方律配置文件使用一个家庭的下限和我们提出的编码方案的最小能量行为。
2019-11-27 cs.IT math.IT
Derivative of BICM Mutual Information
在这封信中,我们确定相应的比特交织编码调制系统的互信息的导数。导数如下作为编码调制集的最小均方误差函数的线性组合。结果发现应用于宽带体制的通信系统的分析和并行信道上的功率分配的设计。
2007-08-15 cs.IT math.IT
Minimum Mean-Square-Error Equalization using Priors for Two-Dimensional Intersymbol Interference
联合均衡和解码方案描述了二维的【形】符号间干扰(ISI)信道。均衡使用最小均方误差(MMSE)准则来执行。低密度奇偶校验码用于纠错。MMSE方案是Tuechler等人(2002)针对一维ISI信道提出的方案的扩展。外部信息传递图,密度演化,和比特出错率与信噪比曲线被用来研究该计划的性能。
2005-09-05 cs.IT math.IT
Improvement of the square-root low bounds on the minimum distances of BCH codes and Matrix-product codes
本文改进了特定BCH码及其对偶码最小距离的平方根下界,基于矩阵乘积构造得到多类自对偶码,其最小距离具平方根或类平方根下界,且改进了已有欧氏自对偶循环码的下界结果。
2025-04-16 cs.IT math.IT
Transceiver Pair Designs for Multiple Access Channels under Fixed Sum Mutual Information using MMSE Decision Feedback Detection
在本文中,我们考虑的联合设计的多址多输入多输出(MIMO)系统的收发机具有符号间干扰(ISI)信道。我们考虑的系统配备了最小均方误差(MMSE)判决反馈(DF)检测器。传统上,该系统的发射机设计基于每个用户的发射功率或信号干扰噪声比(SINR)的约束。在这里,我们探索了一个新的视角,并研究了收发器的设计,这是基于一个固定的总和互信息的约束,并最大限度地减少MMSE判决反馈检测的均方误差的算术平均值。对于这个优化问题,得到一个封闭形式的解决方案,并实现当且仅当平均和互信息均匀分布在每个活动的子信道。同时,假设所有先前的用户信号都已被完美地检测,则当前检测到的用户的互信息均匀地分布在该用户的块信号内的每个单独的符号上。
2008-05-15 cs.IT math.IT
Four constructions of self-dual binary cyclic codes with a lower bound on the minimum distances better than the square-root bound
Hubei University(湖北大学);Jinan University(暨南大学);The Hong Kong University of Science and Technology(香港科技大学)
本文构造了无限族自对偶二元循环码,其最小距离下界优于平方根界,解决了编码理论中一个70年的公开问题。
2026-06-01 cs.IT math.IT
On squares of cyclic codes
线性纠错码$C$的平方$C^{*2}$是由$C$中的每对(不一定不同的)字的分量乘积所跨越的线性码。码的平方在主要在密码学领域中的几个应用中得到了关注,并且通常在这些应用中,人们关心$C^{*2}$和$C$两者的一些参数(维数、最小距离)。在本文中,动机主要是在二元域上定义的线性码的情况下,这个问题的研究,循环码的平方考虑。得到了循环码平方最小距离的一般结果,并讨论了具有较大维数的循环码$C$和平方最小距离$C^{*2}$的构造.在某些情况下,构造导致代码$C$,使得$C$和$C^{*2}$两者同时具有针对其长度和尺寸的最大可能的最小距离。
2018-09-12 cs.IT math.IT
On the achievable improvement by the linear minimum mean square error detector
线性最小均方误差(MMSE)检测器已被证明可以减轻噪声放大问题,从而导致传统的迫零(ZF)检测器。本文从滤波矩阵的条件数和后处理信噪比的改善两个方面分析了MMSE检测器的性能改善。为此,我们推导出滤波矩阵的条件数和后处理信噪比的显式公式。分析和仿真结果表明,MMSE检测器相对于ZF检测器的性能改善不仅取决于噪声方差和信道矩阵的条件数,还取决于最小奇异值与噪声方差的接近程度。
2009-12-09 cs.IT math.IT
Physically Consistent Models for Intelligent Reflective Surface-assisted Communications under Mutual Coupling and Element Size Constraint
我们研究了智能可重构表面(IRS)的无源元件之间的互耦效应对最大化下行链路物联网(IoT)网络的可实现速率的好处。在本文中,我们提出了一个电磁(EM)耦合模型的IRS的元素连接的最小散射天线(即,偶极子)。利用Chu的理论,我们将有限的天线尺寸约束的IRS的每个元素,以获得IRS互阻抗矩阵。通过使用梯度上升过程最大化IRS相移器,我们的数值计算结果表明,互耦合确实是至关重要的,以避免可实现的速率退化时,IRS元件之间的间距是下降到波长的一小部分。
2023-02-22 cs.IT math.IT
Rate-distortion function via minimum mean square error estimation
我们推导出一个简单的一般参数表示的率失真函数的无记忆源,其中的速率和失真的积分,其被积包括最小均方误差(MMSE)的失真$Δ=d(X,Y)$的源符号$X$的基础上,相对于这两个随机变量的联合分布。乍一看,这些关系似乎有点类似于Guo,Shamai和Verdú的I-MMSE关系,但事实上,它们完全不同。从几个方面讨论了速率、失真和MMSE之间的新关系,更重要的是,证明了它们有时对于获得速率失真函数的非平凡上界和下界以及确定非常低和非常大失真的精确渐近行为是相当有用的。类似的MMSE关系也适用于信道容量。
2010-04-29 cs.IT math.IT
Mutual Information, Relative Entropy, and Estimation in the Poisson Channel
令$X$是非负随机变量,并令给定$X$的随机变量$Y$的条件分布对于参数$γ\geq 0$为${Poisson}(γ\cdot X)$。我们确定了一个自然损失函数,使得:1)$X$和$Y$之间的互信息关于$γ$的导数等于基于$Y$估计$X$时的\emph{minimum}平均损失,而不管$X$的分布如何。2)当$X \sim P$是基于$Y$由失配估计器估计的,该失配估计器将使具有$X \sim Q$的预期损失最小化时,超额平均损失的$γ$的所有值上的积分等于$P$和$Q$之间的相对熵。对于连续时间设置,其中$X^T = \{X_t, 0 \leq t \leq T \}$是非负随机过程,并且给定$X^T$,$Y^T=\{Y_t, 0\le t\le T\}$的条件定律是具有强度函数$γ\cdot X^T$的非齐次泊松过程的条件定律,在相同的损失函数下:1)当PDMATHBNB等于\emph{non-causal}滤波中的最小平均损失的期望值时,PDMATHBNA滤波中的最小平均损失这是利用参数$γ$在0和$γ_0$之间均匀分布的信道实现的平滑。连接这两个量的是$X^T$和$Y^T$之间的互信息。2)因果过滤和非因果过滤中的平均损失之间的这种关系在所采用的过滤器不匹配的情况下也成立,即,假设$X^T$上的一个定律是优化的,而这个定律不是真的。在这种情况下,桥接两个量的是$Y^T$的…
2010-12-31 cs.IT math.IT
A Simple Proof of the Entropy-Power Inequality via Properties of Mutual Information
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来,但香农熵幂不等式(EPI)似乎是一个例外:EPI的可用信息论证明取决于使用Fisher信息(FI)或最小均方误差(MMSE)的微分熵的积分表示。在本文中,我们首先提出了一个统一的观点,证明通过FI和MMSE,表明它们本质上是相同的证明的双重版本,然后填补空白,提供一个新的,简单的证明EPI,这是完全基于互信息的属性和回避FI或MMSE表示。
2007-04-13 cs.IT math.IT
Cartesian square-free codes
University of Uberlandia(乌贝兰迪亚大学);Virginia Tech(弗吉尼亚理工大学);Universidad de Valladolid(巴利亚多利德大学)
本文引入笛卡尔无平方因子码,利用交换代数工具给出其部分广义汉明重量的显式公式,并展示如何将结果转化为射影空间上的求值码。
2025-11-11 cs.IT math.IT
On Regret of Parametric Mismatch in Minimum Mean Square Error Estimation
研究了参数失配对最小均方误差(MMSE)估计的影响。特别是,我们考虑的问题,估计输入信号的输出的加性白高斯信道的增益是固定的,但未知的。输入分布是已知的,估计过程由两个算法组成。首先,信道估计器使用过去的观测来盲估计信道增益。第二,失配MMSE估计器,优化的估计信道增益,估计输入信号。我们分析后悔,即,在此过程中产生的附加均方误差。我们得出了绝对和相对遗憾的上限。边界用Fisher信息表示。我们还研究了无偏的,有效的信道估计的遗憾,并得出一个简单的Fisher信息和相对遗憾之间的权衡。这种权衡表明,相对后悔和Fisher信息的某个函数的乘积等于信噪比,与输入分布无关。权衡关系意味着更高的Fisher信息导致较小的预期相对后悔。
2010-06-07 cs.IT math.IT
Self-Dual Cyclic Codes with Square-Root-Like Lower Bounds on Their Minimum Distances
本文构造了具有类平方根下界的自对偶循环码无限族,包括二进制与非二进制情形,并实现了编码理论中的两项突破。
2024-11-05 cs.IT math.IT
Beyond the I-MMSE relation: derivatives of mutual information in Gaussian channels
本文针对矢量高斯信道推导了互信息关于信噪比各阶导数的一般公式,揭示了其与统计理论中经典累积量-矩关系的显著相似性。
2024-08-25 cs.IT math.IT
Minimum Mean-Squared Error Iterative Successive Parallel Arbitrated Decision Feedback Detectors for DS-CDMA Systems
本文提出了一种用于直接序列码分多址(DS-CDMA)系统的最小均方误差(MMSE)迭代逐次并行仲裁判决反馈(DF)接收机。我们描述的MMSE设计准则DF多用户检测器,以及连续的,并行的和迭代的干扰消除结构。提出了一种新的高效的DF结构,采用并行仲裁分支的连续抵消和一个接近最优的低复杂度的用户排序算法。建议的DF接收机结构和排序算法,然后结合迭代级联DF阶段,以减轻卷积编码系统与Viterbi和Turbo解码以及未编码方案的错误传播的有害影响。我们在数学上研究的MMSE之间的关系,实现分析DF结构,包括新的计划,不完美和完美的反馈。上行链路的情况下的仿真结果评估新的迭代DF检测器对线性接收机和评估的影响,对现有的新的消除方法的错误传播。
2012-05-20 cs.IT math.IT
High-SNR Asymptotics of Mutual Information for Discrete Constellations with Applications to BICM
在信噪比趋于无穷大的极限下,给出了标量加性高斯白噪声信道中任意离散输入与相应输出之间的互信息的渐近表达式.给出了在给定信道输出的情况下,通过估计信道输入所获得的符号错误概率(SEP)和最小均方误差(MMSE)的渐近表达式。结果表明,对于任何输入分布,给定输出的信道输入的条件熵,MMSE和SEP具有与高斯Q函数成比例的渐近行为。该Q函数的幅角仅取决于星座图的最小欧氏距离(MED)和信噪比,比例常数是MED和MED处星座点对概率的函数.将推导的表达式推广到比特交织编码调制(BICM)中,研究了广义互信息(GMI)的高信噪比特性.通过这些渐近表达式,证明了长期以来的猜想,格雷码是二进制标记,最大化的BICM-GMI在高信噪比。它进一步表明,对于任何等距星座的大小是2的幂,总是存在一个反格雷码给出最低的BICM-GMI在高信噪比。
2013-09-10 cs.IT math.IT
Mutual information in nonlinear communication channel. Preliminary analytical results in large SNR and small nonlinearity limit
将微扰理论应用于加性高斯噪声下非线性薛定谔方程(NLSE)描述的非线性通信信道的互信息的路径积分表示,分析了大信噪比($\mathrm{SNR}$)和小非线性下互信息的解析表达式.我们对非线性参数中的互信息的所有可能的修正进行了分类,并证明了在最终的结果中,$\mathrm{SNR}$项中的所有奇异性都消失了。分析结果还表明,对$\mathrm{SNR}$中首阶互信息的Shannon贡献的修正是非线性参数平方的阶数.在进一步的研究中,我们概述了这些修正的计算方法。
2016-08-18 cs.IT math.IT
High dimensional affine codes whose square has a designed minimum distance
给定线性码$\mathcal{C}$,其平方码$\mathcal{C}^{(2)}$是$\mathcal{C}$的两个元素的所有分量乘积的跨度。受多方计算应用的启发,我们这项工作的目的是回答以下问题:哪些仿射簇码族同时具有高维度$k(\mathcal{C})$和高最小距离$\mathcal{C}^{(2)}$、$d(\mathcal{C}^{(2)})$?更准确地说,给定一个设计的最小距离$d$,我们计算仿射多样码$\mathcal{C}$,使得$d(\mathcal{C}^{(2)})\geq d$和$\mathcal{C}$的维数是高的。最好的建设,我们建议来自双曲码时,$d\ge q$和加权Reed-Muller码,否则。
2019-07-30 cs.IT math.AC math.IT
Over-Sampling Codebook-Based Hybrid Minimum Sum-Mean-Square-Error Precoding for Millimeter-Wave 3D-MIMO
混合预编码设计对于毫米波(mmWave)大规模MIMO具有挑战性。现有的混合预编码方案大多以最大化总频谱效率(SSE)为目标,而对误码率(BER)的研究较少。因此,本文提出了一种基于过采样码本(OSC)的混合最小均方误差和(min-SMSE)预编码方案,用于毫米波多用户三维(3D)-MIMO系统,以优化系统的误码率,其中考虑了每个用户具有多个数据流的多用户传输。具体而言,给定由真实信道和模拟预编码组成的有效基带信道,我们首先设计基于最小最小均方误差准则的数字预编码器/合并器以优化误码率。为了进一步降低发送和接收信号之间的SMSE,我们提出了一种基于OSC的联合模拟预编码器/组合器(JAPC)设计。仿真结果表明,该方案可以实现更好的性能比传统的同行。
2018-05-21 cs.IT math.IT
New Binary Self-Dual Cyclic Codes with Square-Root-Like Minimum Distances
本文构造了最小距离至少为√n-2的二元自对偶循环码,以及长度q^m-1、最小距离≥√(q/2)√n-q的域F_q上的自对偶码,改进了现有构造。
2023-06-20 cs.IT math.IT
Perfect Space-Time Codes with Minimum and Non-Minimum Delay for Any Number of Antennas
完美空时码是由Oggier等人首先提出的。这些空时码具有全速率、全分集增益、用于增加频谱效率的非零行列式、每个天线均匀的平均发射能量以及良好的星座成形。这些定义条件共同对应于独立于信道统计的相对于Zheng-Tse D-MG折衷的最优性,以及最大化互信息的接近最优性。所有上述特征赋予代码当前无法比拟的错误性能。然而,完美的空时码仅被构造为2,3,4和6个发射天线。我们构造最小和非最小延迟完美码的所有信道尺寸。
2005-12-06 cs.IT math.IT
Bayesian Error Based Sequences of Mutual Information Bounds
通过推导基于最小误差概率和贝叶斯量的互信息上、下界的有限序列,进一步证明了互信息与贝叶斯误差之间的逆关系.著名的Fano上界和Feder-Merhav下界的含糊度收紧包括一系列的后验概率开始在最大的,直接控制MPE,并进行连续较低的。其他一些有趣的结果也来自,包括一个序列的MPE上界的广义后验分布在以前介绍的序列。说明了一个简单的应用程序的联合空间定位和光谱分型的点源的各种界限的紧密性。
2014-09-23 cs.IT math.IT
Minimum Mean-Squared-Error Autocorrelation Processing in Coprime Arrays
互质阵列使得能够对增加数量的源进行到达方向(DoA)估计。为此,接收机估计的自相关矩阵的一个较大的虚拟均匀线性阵列(coarray),通过应用选择或平均物理阵列的自相关估计,然后空间平滑。选择和平均已被设计下没有最优性准则,并达到任意(次优)均方误差(MSE)估计性能。在这项工作中,我们设计了一种新的互质阵列接收机,估计与最小均方误差(MMSE)的协阵自相关,任何概率分布的源DOA。我们广泛的数值评估表明,所提出的MMSE方法返回优越的自相关估计,这反过来,使更高的DoA估计性能相比,标准的同行。
2020-10-21 cs.IT eess.SP math.IT
Optimal Routing with Mutual Information Accumulation in Wireless Networks
我们研究的最佳路由和调度策略的多跳无线网络与无比率码。无比率码允许网络的每个节点从每个分组传输中累积互信息。这使得在传统的最短路径路由的显着的性能增益。此外,它优于基于能量累积的协作通信技术。然而,它需要复杂的和组合的网络决策,涉及哪些节点参与传输,以及使用哪种解码顺序。我们制定三个问题的兴趣在这种情况下:(一)最小延迟路由,(二)最小能量路由延迟约束,和(三)最小延迟广播。这些问题都是组合最优化问题,我们利用它们的最优解的几个结构性质来简化问题,并导出最优贪婪算法。虽然减少的问题仍然有指数的复杂性,不像以前的作品,这样的问题,我们的贪婪算法是简单的使用,不需要解决任何线性规划。此外,使用的洞察力得到的最优解的线网络,我们提出了两个简单的算法,可以实现在多项式时间和分布式的方式,并比较它们与最优解。仿真结果表明,这两种算法在随机网络拓扑结构上的性能非常接近最优解。
2011-10-16 cs.IT cs.NI math.IT
Bounds on the Excess Minimum Risk via Generalized Information Divergence Measures
Department of Mathematics and Statistics, Queen’s University(数学与统计学系,皇后大学)
本文针对马尔可夫链下的超额最小风险问题,利用 Rényi 散度等广义信息散度度量推导出上界,放宽了次高斯参数限制,并在特定参数下获得了比互信息更紧的界限。
2025-05-30 cs.IT cs.LG math.IT
On mutual information, likelihood-ratios and estimation error for the additive Gaussian channel
本文考虑了任意分布信号x通过一个附加的独立高斯白噪声w(y=x+w)观测的模型。导出了非因果估计量的最小均方误差与y和ω之间的似然比之间的新关系。其次是最近推导出的互信息I(x;y)和最小均方误差之间的关系的扩展版本。这些结果被应用到推导无限维版本的Fisher信息和de Bruijn身份。结果的推导是基于Malliavin演算。
2005-05-16 cs.IT math.IT math.PR
On dynamic mutual information for bivariate lifetimes
我们认为动态版本的互信息的寿命分布,重点是过去的生命期,剩余寿命和混合寿命在不同的时刻评估。这允许研究多组分系统,通过测量可能具有不同年龄的两个组分的条件寿命的依赖性。我们提供了一些界限,并调查互信息的剩余寿命内的时间转换指数模型(在无界和截断寿命的假设下)。此外,参考随机样本的顺序统计量,我们明确评估的最小值和最大值之间的互信息,在不同的时间检查的条件下,并表明它是分布自由。最后,我们开发了一种基于Copula的方法,旨在以另一种方式表达过去和剩余双变量寿命的动态互信息。
2016-05-07 cs.IT math.IT math.PR
A Bayesian Nonparametric Estimation of Mutual Information
互信息是一种广泛使用的信息理论度量,用于量化变量之间的关联量。它被广泛应用于许多应用中,如图像配准,电机故障诊断,模式识别,数据挖掘和独立性测试。本文的主要目标是提供一个有效的估计的互信息的方法的基础上Al Labadi等。等(2021)。通过各种示例探索估计量,并将其与Berrett et al.(2019)的频率论对应物进行比较。结果表明,该方法具有良好的性能,具有较小的均方误差。
2021-08-09 cs.IT math.IT stat.CO
Mutual Information and Optimality of Approximate Message-Passing in Random Linear Estimation
我们认为,从噪声的线性随机高斯投影的知识的信号的估计。与此问题相关的几个例子是压缩感知、稀疏叠加码和码分多址。已经有一些工程考虑这个问题的互信息使用的副本方法从统计物理。在这里,我们把这些考虑放在一个坚定的严格的基础上。首先,我们表明,使用Guerra-Toninelli型插值,副本公式产生一个上界的确切互信息。其次,对于许多相关的实际情况下,我们提出了一个逆下界的方法,使用空间耦合,状态演化分析和I-MMSE定理。这产生了一个单字母公式的互信息和最小均方误差的随机高斯线性估计的所有离散有界信号。此外,我们证明了低复杂度的近似消息传递算法是最佳的所谓的硬相外,在这个意义上,它渐近达到最小均方误差。在这项工作中,空间耦合主要用作证明技术。然而,我们的结果也证明了空间耦合噪声线性随机高斯估计的两个重要特征。首先,没有算法上的困难阶段。这意味着对于这样的系统,近似消息传递总是达到最小均方误差。其次,在适当的限制下,这类系统的互信息与非耦合线性随机高斯估计的互信息相同。
2020-08-28 cond-mat.dis-nn cs.IT math-ph
Concentration of the matrix-valued minimum mean-square error in optimal Bayesian inference
The Abdus Salam International Center for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心)
我们考虑贝叶斯推断的信号与向量值的条目。从自旋玻璃的数学物理扩展浓度技术,我们表明,矩阵值的最小均方误差集中时,问题的大小增加。这样的结果往往是至关重要的证明单字母公式的互信息时,他们存在。我们的证明在最优贝叶斯推理设置中是有效的,这意味着它依赖于模型及其所有超参数已知的假设。我们的研究结果所涵盖的推理和学习问题的例子是尖峰矩阵和张量模型,委员会机神经网络在教师-学生的情况下,或多层广义线性模型的隐藏神经元很少。
2019-07-15 cs.IT cs.LG eess.SP
IT formulae for gamma target: mutual information and relative entropy
在本文中,我们介绍了新的Stein恒等式的伽玛目标分布,以及一个新的非线性信道专门设计的伽玛输入。从这两个成分,我们推导出一个明确的和简单的公式,该非线性信道的输入-输出互信息的导数相对于信道质量参数。这种关系使人想起加性高斯噪声信道的输入-输出互信息相对于信噪比的导数与最小均方误差之间的众所周知的联系。证明依赖于一个重新缩放版本的德布鲁因身份的伽马目标分布与随机表示的伽马特定的Fisher信息。最后,我们能够得到精确的界限和渐近的输入-输出互信息的非线性信道与伽玛输入。
2016-09-08 cs.IT math.IT math.PR
Sensing Mutual Information with Random Signals in Gaussian Channels: Bridging Sensing and Communication Metrics
本文利用随机矩阵理论推导随机信号下感知互信息的显式表达式,建立其与传统感知度量的联系,并用于优化预编码,统一感知与通信性能度量。
2024-02-06 cs.IT eess.SP math.IT
A coloring of the square of the 8-cube with 13 colors
令$χ_{\bar{k}}(n)$为对$n$维超立方体进行着色所需的颜色数,使得具有相同颜色的两个顶点之间的距离不超过$k$。换句话说,$χ_{\bar{k}}(n)$是划分$n$维汉明空间所需的具有至少$k+1$的最小距离的二进制码的最小数目。通过给出显式着色,证明了$χ_{\bar{2}}(8)=13$ .
2015-09-23 cs.IT math.CO math.IT
Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization
University of Virginia(弗吉尼亚大学)
训练对对抗性输入具有鲁棒性的机器学习模型带来了看似不可逾越的挑战。为了更好地理解对抗鲁棒性,我们考虑学习鲁棒表示的基本问题。我们开发了一个概念的表示脆弱性,捕获的最大变化的互信息之间的输入和输出分布,在最坏的情况下输入扰动。然后,我们证明了一个定理,该定理建立了一个最小对抗风险的下限,该下限可以根据其表示漏洞为任何下游分类器实现。我们提出了一种无监督学习方法,通过最大化输入和输出分布之间的最坏情况下的互信息来获得本质上鲁棒的表示。对下游分类任务的实验支持使用无监督学习和我们的训练原则发现的表示的鲁棒性。
2020-07-05 cs.CR cs.IT cs.LG
Ensemble Estimation of Generalized Mutual Information with Applications to Genomics
互信息是随机变量之间相关性的度量,已成功地用于许多领域的无数应用中。超越经典Shannon互信息的广义互信息互信息度量在这些应用中也受到了很大的关注。在两种情况下,我们得到了两个多维随机变量$\mathbf{X}$和$\mathbf{Y}$之间一般互信息测度的基于核密度的插入式估计的均方误差收敛速度:1)$\mathbf{X}$和$\mathbf{Y}$是连续的; 2)$\mathbf{X}$和$\mathbf{Y}$可以有离散和连续分量的任意混合.使用导出的速率,我们提出了一个合奏估计这些信息的措施,称为GENIE通过采取加权和的插件估计与不同的带宽。当连续变量的条件密度足够光滑时,所得到的系综估计达到了$1/N$参数均方误差收敛速度。据我们所知,这是第一个非参数互信息估计已知的混合情况下,经常出现在应用程序(例如变量选择分类),以实现参数收敛速度。该估计器易于实现,它使用离线凸优化问题的解决方案和简单的插件估计器。一个中心极限定理也来自系综估计和极小极大率来自连续的情况下。我们证明了集成估计的混合情况下的模拟数据,并应用所提出的估计分析单细胞数据中的基因关系。
2021-07-29 cs.IT math.IT math.ST
Well-Conditioned Linear Minimum Mean Square Error Estimation
线性最小均方误差(LMMSE)估计往往是病态的,这表明无约束的最小化均方误差是一种不适当的方法来设计滤波器。为了解决这个问题,我们首先开发了一个统一的框架,研究约束LMMSE估计问题。使用这个框架,我们探讨了一个重要的结构性质的约束LMMSE滤波器涉及到一定的预滤波器。最优性在预滤波器的可逆线性变换下是不变的。这参数化所有的最佳过滤器的等价类的预过滤器。然后,我们澄清,仅仅限制过滤器的秩不适合解决病态的问题。相反,我们采用了一个约束,它明确要求解在某种特定意义上是良态的。我们介绍了两个条件良好的过滤器,并表明,他们收敛到无约束的LMMSE滤波器的截断功率损耗为零,在相同的速率作为低秩维纳滤波器。我们还展示了扩展的情况下,加权跟踪和行列式的误差协方差作为目标函数。最后,我们的定量结果与历史波动率指数数据表明,我们的两个良好的条件过滤器具有稳定的性能,而标准的LMMSE滤波器恶化的条件数增加。
2022-03-22 cs.IT cs.SY eess.SP