Mutual information is copula entropy
Jian Ma, Zengqi Sun
证明了互信息实际上是负Copula熵，并在此基础上提出了一种互信息估计方法。
We prove that mutual information is actually negative copula entropy, based on which a method for mutual information estimation is proposed.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Copula Operad and Copula Entropy
本文构造了 copula 的对称 operad，证明了 copula 熵在复合下的可加性，并给出了闭子 operad 及反例，为依赖结构的层次组合提供了代数框架。
On Thermodynamic Interpretation of Copula Entropy
Copula Entropy（CE）是信息论中最近引入的度量相关性/依赖性的概念。本文介绍了CE理论，并给出了平衡态下N粒子关联体系CE的热力学解释。
MIND: Inductive Mutual Information Estimation, A Convex Maximum-Entropy Copula Approach
我们提出了一种新的估计两个有序向量$x$和$y$之间的互信息。我们的方法是归纳的（而不是演绎的），因为它依赖于数据生成分布，仅通过一些非参数属性揭示数据中的关联，并且不需要有足够的数据来充分表征真正的联合分布$P_{x, y}$。具体来说，我们的方法包括（i）注意到$I\left(y; x\right) = I\left(u_y; u_x\right)$，其中$u_y$和$u_x$是$y$和$x$的copula一致对偶表示（即它们在概率积分变换下的图像），以及（ii）通过在$α_m = E\left[ϕ_m(u_y, u_x)\right]$类型的约束下求解copula密度空间上的最大熵问题来估计copula熵$h\left(u_y\right)$，$h\left(u_x\right)$和$h\left(u_y, u_x\right)$。我们证明了，只要约束是可行的，这个问题承认一个唯一的解决方案，它是在指数族，它可以通过解决凸优化问题学习。由此产生的估计，我们表示为MIND，是边缘不变的，总是非负的，无界的任何样本大小$n$，一致的，有MSE率$O(1/n)$，是更有效的数据比竞争的方法。除了互信息估计之外，我们还说明了我们的方法可以通过最大化假样本的Copula的熵来减轻GANs中的模式崩溃，我们将这种模型称为Copula熵正则化GAN（CER-GAN）。
Discovering Association with Copula Entropy
发现关联在科学实践中至关重要。目前，大多数研究仅考虑相关系数衡量的线性关联，这有其理论局限性。在本文中，我们提出了一种新的方法来发现关联copula熵-一个普遍适用的关联措施，不仅线性情况下，但非线性情况。通过对NHANES数据的分析，证明了基于Copula熵的方法比传统方法具有更大的优势，发现了更多有意义的生物医学关联。
copent: Estimating Copula Entropy and Transfer Entropy in R
统计独立性和条件独立性是统计学和机器学习中的两个基本概念。Copula熵是Ma和Sun定义的一个用于度量和检验多元统计独立性的数学概念，也被证明与条件独立性（或转移熵）密切相关。作为度量独立性和因果性的统一框架，并行工程已被应用于解决若干相关的统计或机器学习问题，包括关联发现、结构学习、变量选择和因果发现。Copula熵和传递熵的非参数估计方法也已提出。本文介绍了copent，R包，实现这些建议的方法估计copula熵和传递熵。介绍了该软件包的实现细节。三个例子与模拟数据和真实世界的数据变量的选择和因果关系的发现也展示了使用这个包。在变量选择和因果发现方面的实例表明，与相关软件包相比，copent具有较强的（条件）独立性检验能力。copent包可以在Comprehensive R Archive Network（CRAN）和GitHub上找到，网址是https://github.com/majianthu/copent。
Estimating Transfer Entropy via Copula Entropy
因果发现是统计学中的一个基本问题，在各个领域有着广泛的应用。传递熵是度量因果关系的一个重要概念，其本质是条件互信息。Copula Entropy（CE）是一种度量统计独立性的理论，与MI是等价的.在本文中，我们证明了TE可以表示只有CE，然后提出了一个非参数的方法估计TE通过CE。将该方法应用于北京PM2.5数据的实验分析。实验结果表明，该方法可以有效地从数据中推断因果关系，从而有助于更好地理解数据。
Copula Entropy: Theory and Applications
本专著系统介绍copula熵（CE）的基础理论，梳理其多场景理论应用、方法优势、数学推广及实际落地情况，为CE相关研究与应用提供参考。
An information theoretic approach to statistical dependence: copula information
我们讨论了信息和Copula理论之间的连接，表明Copula可以用来分解成边际和依赖成分的多元分布的信息内容，后者量化的互信息。我们将信息过剩定义为偏离最大熵分布的度量。还讨论了边际不变相关性测度的概念，并用于表明经验线性相关性低估了非高斯边际情况下实际相关性的幅度。互信息的Copula的渐近经验对数似然提供了一个上限。提供了一个解析表达式的信息过剩的T-copula，允许简单的模型识别在这个家庭。我们用一组金融数据来说明这个框架。
Multivariate Information Measures: A Copula-based Approach
本文提出多元累积 copula 熵及其分数阶推广，研究其数学性质与生成函数，给出基于经验 beta copula 的非参数估计，并构造基于 KL 散度的 copula 距离及拟合优度检验。
Dependence and Uncertainty: Information Measures using Tsallis Entropy
本文基于 Tsallis 熵扩展累积 copula 信息测度，提出累积 copula Tsallis 熵与 CMI，并给出非参数估计、独立性检验及金融应用。
Information estimation using nonparametric copulas
随机变量之间互信息的估计在从物理学到神经科学再到金融学的一系列领域中已经变得至关重要。在各种条件下准确估计信息依赖于开发灵活的方法来描述变量之间的统计依赖关系，而不会对数据施加可能无效的假设。在缺乏关于其统计特性的先验知识和样本数量有限的情况下，需要这种方法。在这里，我们提出了一个强大的和普遍适用的信息估计的基础上非参数copula。这种估计，称为非参数copula为基础的估计（NPC），是专门考虑到详细的随机关系的数据独立的数据的边缘分布。NPC估计器可用于连续和离散数值变量，从而为连续和离散数据的互信息估计提供了一个单一的框架。通过对来自各种统计分布的人工样本的广泛验证，我们发现NPC估计量与常用的替代品相比效果良好。与不基于Copula的方法不同，它允许对边缘分布的细节变化具有鲁棒性的信息估计。与参数copula方法不同，它保持准确，而不管变量之间的相互作用的精确形式。此外，NPC估计有准确的信息估计，即使在低样本数，相比替代估计。因此，NPC估计量在数据中任意形状的统计依赖性的一般适用性之间提供了良好的平衡，并且在使用小样本量时显示出准确和稳健的性能。
Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation
针对现有互信息估计基准多针对简化低维分布，该研究提出统一基准框架，包含两类互补测试，用于评估三类估计器，发现无通用优胜者并分析特定情况下的估计障碍及提出新测试。
On dynamic mutual information for bivariate lifetimes
我们认为动态版本的互信息的寿命分布，重点是过去的生命期，剩余寿命和混合寿命在不同的时刻评估。这允许研究多组分系统，通过测量可能具有不同年龄的两个组分的条件寿命的依赖性。我们提供了一些界限，并调查互信息的剩余寿命内的时间转换指数模型（在无界和截断寿命的假设下）。此外，参考随机样本的顺序统计量，我们明确评估的最小值和最大值之间的互信息，在不同的时间检查的条件下，并表明它是分布自由。最后，我们开发了一种基于Copula的方法，旨在以另一种方式表达过去和剩余双变量寿命的动态互信息。
Hessian and concavity of mutual information, differential entropy, and entropy power in linear vector Gaussian channels
在线性矢量高斯信道的框架内，任意信令，最小均方误差和Fisher信息矩阵的雅可比矩阵的封闭形式的表达式相对于任意参数的系统计算。利用先前的研究，其中的最小均方误差和Fisher信息矩阵被连接到信息理论的数量，通过微分，封闭形式的表达式的互信息和微分熵的海森推导。然后，这些表达式被用来评估在不同的信道条件下的互信息和微分熵，并推导出一个多变量版本的熵功率不等式由于科斯塔。
A Simple Proof of the Entropy-Power Inequality via Properties of Mutual Information
虽然大多数有用的信息论不等式可以从熵或互信息的基本性质推导出来，但香农熵幂不等式（EPI）似乎是一个例外：EPI的可用信息论证明取决于使用Fisher信息（FI）或最小均方误差（MMSE）的微分熵的积分表示。在本文中，我们首先提出了一个统一的观点，证明通过FI和MMSE，表明它们本质上是相同的证明的双重版本，然后填补空白，提供一个新的，简单的证明EPI，这是完全基于互信息的属性和回避FI或MMSE表示。
Continuity of mutual entropy in the large signal-to-noise ratio limit
本文讨论了香农提出的熵幂不等式（EPI）的证明问题，EPI是分析高斯信道信息传输的一个重要工具。我们分析了连续性的输入和输出信号的互熵在一个加性无记忆信道，并讨论了假设下，熵功率不等式成立。
Permutation Excess Entropy and Mutual Information between the Past and Future
我们解决过剩熵，这是平稳时间序列的复杂性的措施，从有序的角度来看。证明了有限状态平稳遍历马氏过程序空间中两个相邻半无限块之间的置换过剩熵等于互信息。这一结果可能为复杂性和预期之间的关系提供新的线索。
Nonparanormal Information Estimation
我们研究了使用i.i.d.的问题。从未知的多变量概率分布$p$采样，以估计$p$的互信息。这个问题最近在两种情况下受到关注：（1）假设$p$是高斯分布的，以及（2）假设$p$仅位于一个大的非参数平滑类中。当高斯假设成立时，为高斯情况提出的估计在高维收敛，但是当$p$不是高斯时，估计是脆弱的，显著地失败。非参数情况下提出的估计无法与现实的样本量收敛，除非在非常低的维度。因此，对于许多实际数据，缺乏鲁棒的互信息估计器。为了解决这个问题，我们提出了当$p$被假设为非超正常（即，高斯copula）模型，高斯和非参数极端之间的半参数妥协。使用理论界和实验，我们表明，这些估计罢工之间的鲁棒性和规模与维度的实际平衡。
Entropy-Constrained Maximizing Mutual Information Quantization
本文研究了二进制输入离散无记忆信道的输出量化问题，即在输出量化熵受限的情况下，使输入与量化输出之间的互信息最大化.介绍了一种多项式时间算法，可以找到真正的全球最佳量化器。这些结果适用于具有任意数量的量化输出的二进制输入通道。最后，我们将这些结果扩展到二进制输入连续输出通道，并给出了一个充分条件，使得一个单一的阈值量化器是一个最佳的量化器。理论结果和数值结果证明我们的技术。
Two-Moment Inequalities for Rényi Entropy and Mutual Information
本文讨论了一个关于函数$r$次幂积分的二阶矩不等式的一些应用，其中$0 < r< 1$ .第一个贡献是随机向量的Rényi熵在两个不同的时刻的上界。当其中一个时刻是零阶矩时，这些边界恢复了以前基于最大熵分布的结果。更一般地说，用两个精心选择的非零矩来评估边界可以导致显着的改进，同时适度增加复杂性。第二个贡献是上界互信息的方法在某些积分相对于方差的条件密度。边界有许多有用的属性产生的方差分解的连接。
Ribbons from Independence Structure: Hypercontractivity, $Φ$-Mutual Information, and Matrix $Φ$-Entropy
本文研究了基于独立结构的超收缩性与Φ-互信息，提出矩阵Φ-丝带及其性质，推导了非平凡点并计算了精确常数。
An axiomatic characterization of mutual information
我们的特点互信息作为唯一的映射顺序对随机变量满足一组公理类似的法捷耶夫的香农熵的表征。然而，在我们的表征中有一个新的公理，它没有香农熵的类似物，基于马尔可夫三角形的概念，它可以被认为是条件熵起作用的通信信道的组成。我们的证明是坐标自由的，在这个意义上，没有出现在我们的计算中。
Analysis of k-Nearest Neighbor Distances with Application to Entropy Estimation
一致地估计熵和互信息对于许多机器学习应用是重要的。Kozachenko-Leonenko（KL）估计量（Kozachenko & Leonenko，1987）是一种广泛使用的多变量连续随机变量熵的非参数估计量，也是Kraskov等人（2004）的互信息估计量的基础，可能是该设置中最广泛使用的互信息估计量。尽管这些估计的实际重要性，主要的理论问题，他们的有限样本行为仍然开放。本文证明了KL估计的偏差和方差的有限样本界，表明对于某些类光滑函数，它达到了极小极大收敛速度。在证明这些界限，我们分析有限样本行为的k-最近邻（k-NN）距离统计（KL估计的基础上）。我们得到的k-NN距离的浓度不等式和一般的期望界的k-NN距离的统计，这可能是有用的其他k-NN方法的分析。
The Partial Entropy Decomposition: Decomposing multivariate entropy and mutual information via pointwise common surprisal
在多元系统中获得有意义的统计依赖性的定量描述是一个困难的开放性问题。部分信息分解（Partial Information Decomposition，PID）是将目标变量的互信息（Mutual Information，MI）分解为预测变量的不同子集中冗余、唯一和协同的分量。在这里，我们建议将PID的优雅形式主义应用于多变量熵，从而产生部分熵分解（PED）。我们实现了PED的熵冗余度测量的基础上逐点常见的代数，一个自然的定义，这是密切相关的MI的定义。我们展示了这种方法可以揭示二元与三元生成结构的多变量系统是无法区分的经典香农措施。熵的观点还表明，错误信息是协同熵，因此，MI本身包括冗余和协同效应。我们在两个预测PED和MI之间的关系，并推导出两种替代的信息分解，我们说明了几个示例系统。这表明，在熵方面，单变量预测MI是不是一个适当的子集的联合MI，我们建议这个以前未认识到的事实部分解释了为什么获得一致的PID已被证明是困难的。PED还允许单独量化机械冗余（与系统功能相关）与源冗余（由输入之间的依赖关系引起）;这是一个现有方法无法解决的重要区别。PED提供的新视角有助于澄清PID方法遇到的一些困难，由此产生的分解为广泛的应用领域的实际数据分析提供了有用的工具。
Geometric k-nearest neighbor estimation of entropy and mutual information
互信息的非参数估计被广泛应用于科学问题中，以量化变量之间的相关性。k-最近邻（knn）方法是一致的，因此预期适用于大样本量。这些方法使用几何正则的局部体积元。这种做法允许体积元的最大局部化，但也可能由于对底层概率测度的局部几何形状的不良描述而引起偏差。我们引入一类新的knn估计，我们称之为几何knn估计（g-knn），它使用更复杂的局部体积元，以更好地模拟局部几何的概率测度。作为这类估计的一个例子，我们开发了一个g-knn估计的熵和互信息的基础上椭圆体积元，捕捉当地的拉伸和压缩常见的范围广泛的动力系统吸引子。一系列的数值例子，其中的厚度的底层分布和样本量是不同的建议，当地的几何形状是一个来源的knn方法，如Kraskov-Stögbauer-Grassberger（KSG）估计的问题时，当地的几何效应不能被删除的全球预处理的数据。g-knn方法表现良好，尽管操纵的局部几何。此外，例子表明，g-knn估计可以是特别相关的应用程序中，系统是大的，但数据大小是有限的。
Neural Entropic Estimation: A faster path to mutual information estimation
我们指出了互信息神经估计（MINE）的局限性，即网络在初始训练阶段无法学习，导致训练迭代次数收敛缓慢。为了解决这个问题，我们提出了一种更快的方法称为互信息神经熵估计（MI-NEE）。我们的解决方案首先将MINE推广到使用自定义参考分布来估计熵。然后，熵估计可以用于估计互信息。我们认为，熵估计的看似冗余的中间步骤允许人们通过适当的参考分布来提高收敛性。特别是，我们表明，MI-NEE减少到MINE的特殊情况下，当参考分布是边际分布的产品，但更快的收敛是可能的，而不是通过选择均匀分布作为参考分布。与边缘值的乘积相比，均匀分布在低密度区域引入了更多的样本，在高密度区域引入了更少的样本，这似乎导致了更快收敛的整体更大的梯度。
Neural Joint Entropy Estimation
离散随机变量的熵估计是信息论及其相关领域的一个基本问题。该问题在各个领域有着广泛的应用，包括机器学习、统计学和数据压缩。多年来，人们提出了各种估算方案。然而，尽管取得了重大进展，但与变量的字母大小相比，大多数方法在样本较小时仍然很困难。在这项工作中，我们介绍了这个问题的实用解决方案，它扩展了McAllester和Statos（2020）的工作。所提出的方案使用深度神经网络（DNN）中交叉熵估计的泛化能力来引入改进的熵估计精度。此外，我们引入了一个家庭的估计相关的信息理论的措施，如条件熵和互信息。我们表明，这些估计是强一致的，并证明了他们的性能在各种用例。首先，我们考虑大字母表熵估计。然后，我们将范围扩展到互信息估计。接下来，我们将所提出的计划的条件互信息估计，因为我们专注于独立性测试任务。最后，我们研究了一个转移熵估计问题。所提出的估计表明，在所有测试的设置与现有的方法相比，提高了性能。
MIM: Mutual Information Machine
我们介绍了互信息机（MIM），一个概率自动编码器，用于学习联合分布的意见和潜在的变量。MIM反映了三个设计原则：1）低发散，以鼓励编码器和解码器学习相同底层分布的一致因子分解; 2）高互信息，以鼓励数据和潜在变量之间的信息关系;以及3）低边际熵或压缩，其倾向于鼓励聚类潜在表示。我们表明，詹森-香农发散和联合熵的编码和解码分布的组合满足这些标准，并承认一个易于处理的交叉熵界，可以直接优化蒙特卡洛和随机梯度下降。我们将MIM学习与最大似然和VAE进行了对比。实验表明，MIM学习表示高互信息，一致的编码和解码分布，有效的潜在聚类，和数据日志似然VAE相媲美，同时避免后崩溃。
IT formulae for gamma target: mutual information and relative entropy
在本文中，我们介绍了新的Stein恒等式的伽玛目标分布，以及一个新的非线性信道专门设计的伽玛输入。从这两个成分，我们推导出一个明确的和简单的公式，该非线性信道的输入-输出互信息的导数相对于信道质量参数。这种关系使人想起加性高斯噪声信道的输入-输出互信息相对于信噪比的导数与最小均方误差之间的众所周知的联系。证明依赖于一个重新缩放版本的德布鲁因身份的伽马目标分布与随机表示的伽马特定的Fisher信息。最后，我们能够得到精确的界限和渐近的输入-输出互信息的非线性信道与伽玛输入。
Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems
据报道，深度学习系统在许多应用中实现了最先进的性能，关键是在基准数据集上存在经过良好训练的分类器。作为一种主流的损失函数，交叉熵可以很容易地引导我们找到表现出严重过拟合行为的模型。在本文中，我们表明，现有的交叉熵损失最小化问题本质上是学习数据集的底层数据分布的标签条件熵（CE）。然而，以这种方式学习的CE不能很好地表征由标签和输入共享的信息。在本文中，我们提出了一个互信息学习框架，通过学习标签和输入之间的互信息来训练深度神经网络分类器。从理论上给出了基于互信息的种群分类误差下界。此外，我们推导出$\mathbb{R}^n$中具体的二进制分类数据模型的互信息下限和上限，以及在这种情况下的错误概率下限。从经验上讲，我们在几个基准数据集上进行了大量的实验来支持我们的理论。互信息学习分类器（MILC）比条件熵学习分类器（CELC）具有更好的泛化性能，其测试精度可提高10%以上.
On Hidden Markov Processes with Infinite Excess Entropy
研究了过去和未来之间的互信息为无穷大的平稳隐马尔可夫过程。假设可观测状态的数目是有限的，而隐状态的数目是可数无穷的。在此假设下，我们证明了隐马尔可夫过程的块互信息的上界是由隐状态分布的尾部指数所决定的幂律。此外，我们展示了三个过程的例子。前面考虑的第一个例子是非遍历的，块之间的互信息由块长度的对数限定。第二个例子也是非遍历的，但是块之间的互信息服从幂律。第三个例子服从幂律，并且是遍历的。
Entropy and mutual information in models of deep neural networks
我们研究了一类深度学习模型，使用一种易于处理的方法来计算信息理论量。我们的贡献是三方面的：（i）我们展示了如何熵和互信息可以来自启发式统计物理方法，假设权重矩阵是独立的和正交不变的。(ii)我们扩展特定的情况下，在这种情况下，这一结果是已知的严格精确的高斯随机权重的两层网络提供了一个证明，使用最近推出的自适应插值方法。(iii)我们提出了一个具有合成数据集的生成模型的实验框架，在该框架上，我们训练具有权重约束的深度神经网络，以便在学习期间验证（i）中的假设。我们研究了整个学习过程中熵和互信息的行为，并得出结论，在所提出的设置中，压缩和泛化之间的关系仍然难以捉摸。
Properties of Persistent Mutual Information and Emergence
持续互信息（PMI）是随机过程的一种复杂性度量。它与众所周知的复杂性度量有关，如超额熵或统计复杂性。从本质上讲，它是过剩熵的一种变化，因此它可以被解释为系统内部记忆的一种特定度量。PMI最早由Ball、Diakonova和MacKay于2010年提出，作为衡量（强势）崛起的指标。在本文中，我们定义的PMI数学和调查的关系，过剩熵和统计复杂性。特别是我们证明了过剩熵是PMI的一个上界。此外，我们展示了PMI的一些属性，并计算它明确的一些示例过程。我们还讨论了在何种程度上它是一个措施的出现，并比较它与其他方法用于正式出现。
Generalizing Geometric Partition Entropy for the Estimation of Mutual Information in the Presence of Informative Outliers
本文推广几何划分熵至d维空间，提出划分交集近似实现快速互信息估计，并纳入信息性离群值影响，应用于混沌系统同步分析。
Mutual Information, Relative Entropy, and Estimation in the Poisson Channel
令$X$是非负随机变量，并令给定$X$的随机变量$Y$的条件分布对于参数$γ\geq 0$为${Poisson}(γ\cdot X)$。我们确定了一个自然损失函数，使得：1）$X$和$Y$之间的互信息关于$γ$的导数等于基于$Y$估计$X$时的\emph{minimum}平均损失，而不管$X$的分布如何。2)当$X \sim P$是基于$Y$由失配估计器估计的，该失配估计器将使具有$X \sim Q$的预期损失最小化时，超额平均损失的$γ$的所有值上的积分等于$P$和$Q$之间的相对熵。对于连续时间设置，其中$X^T = \{X_t, 0 \leq t \leq T \}$是非负随机过程，并且给定$X^T$，$Y^T=\{Y_t, 0\le t\le T\}$的条件定律是具有强度函数$γ\cdot X^T$的非齐次泊松过程的条件定律，在相同的损失函数下：1）当PDMATHBNB等于\emph{non-causal}滤波中的最小平均损失的期望值时，PDMATHBNA滤波中的最小平均损失这是利用参数$γ$在0和$γ_0$之间均匀分布的信道实现的平滑。连接这两个量的是$X^T$和$Y^T$之间的互信息。2)因果过滤和非因果过滤中的平均损失之间的这种关系在所采用的过滤器不匹配的情况下也成立，即，假设$X^T$上的一个定律是优化的，而这个定律不是真的。在这种情况下，桥接两个量的是$Y^T$的…
Progress on the Courtade-Kumar Conjecture: Optimal High-Noise Entropy Bounds and Generalized Coordinate-wise Mutual Information
本研究解决了Courtade-Kumar猜想中的关键问题，通过证明高噪声下的最优熵界，扩展了该猜想的适用范围。
Optimal input signal distribution and per-sample mutual information for nondispersive nonlinear optical fiber channel at large SNR
本文研究了在中等功率区具有大$\mathrm{SNR}$（信噪比）的加性高斯白噪声的非色散非线性光纤信道模型。利用费曼路径积分技术，我们第一次找到了最佳的输入信号分配最大化的信道的每样本互信息。最佳输入信号分布的发现允许我们改进先前已知的信道容量的估计。针对高斯、半高斯和修改的高斯输入信号分布计算输出信号熵、条件熵和每样本互信息。我们明确地表明，在中等功率制度的最佳输入信号分布的每样本互信息大于高斯和半高斯输入信号分布的每样本互信息。
Mutual Information, Relative Entropy and Estimation Error in Semi-martingale Channels
信息和估计之间的基本关系已经建立在文献中的连续时间的高斯和泊松通道，在一个漫长的工作线从经典的表现定理邓肯和卡巴诺夫分别开始。在这项工作中，我们证明了这样的关系，一个更大的家庭的连续时间通道。我们引入了半鞅信道族，其中信道输出是半鞅随机过程，信道输入调制半鞅的特性。对于这些通道，其中包括作为一个特殊情况下的连续时间高斯和泊松模型，我们建立了新的表示信道输入和输出之间的互信息的最佳因果滤波损失，从而统一和大大扩展的结果从高斯和泊松设置。扩展的失配估计的设置也提出了在两个不同的输入分布下的信道的输出的法律之间的相对熵是等于通过使用失配和最佳因果滤波器分别产生的估计损失之间的累积差异。这些结果的主要工具是Doob-Meyer分解的一类似然比下鞅。在这项工作中的结果可以被看作是连续时间的模拟最近的推广之间的关系的信息和估计的离散时间Lévy通道。
Smooth Max-Information as One-Shot Generalization for Mutual Information
我们研究了光滑最大信息的形式性质，这是从最大相对熵导出的von Neumann互信息的推广。最近的工作表明它在单次信道编码、量子率失真理论和量子多体系统物理中是一个有用的量。最大信息可以用多种方式定义。我们证明了不同的平滑定义基本上是等价的（对数项的平滑参数）。这些等价关系使我们能够导出新的链规则的最大信息的最小和最大熵，从而扩展了光滑熵形式主义的互信息。
Conditional Rényi entropy and the relationships between Rényi capacities
Arimoto的条件Rényi熵和Rényi互信息的定义的类似物探索抽象字母。这些量，虽然依赖于参考措施，有一些有用的属性类似于那些已知的离散设置。除了列出一些这样的基本性质和雷尼分歧的关系，由Sibson，Augustin-Csiszár和Lapidoth-Pfister定义的互信息族之间的关系，以及相应的能力，进行了探索。
Several Representations of $α$-Mutual Information and Interpretations as Privacy Leakage Measures
本文基于Rényi散度和条件Rényi熵，提出了$α$-互信息的新表示，并利用广义均值和增益函数解释其作为隐私泄露度量的意义，同时提出满足条件化降低熵的新型条件Rényi熵。
Cumulant Expansion of Mutual Information for Quantifying Leakage of a Protected Secret
在典型的情况下，当信号噪声比是小的，与给定的保护程度的密码实现的信息泄漏进行评估。这是解决扩展Kullback-Leibler分歧，熵，和互信息的时刻/累积量。
Sumset and Inverse Sumset Inequalities for Differential Entropy and Mutual Information
Freiman、Plünnecke和Ruzsa的和集和逆和集理论给出了两个离散集合$A,B$的和集$A+B=\{a+b\;;\;a\in A,\,b\in B\}$的基数与原始集合$A,B$的基数（或更精细的结构）之间的界限。例如，Ruzsa的和差界表明，$|A+B|\,|A|\,|B|\leq|A-B|^3$，其中差集$A-B= \{a-b\;;\;a\in A,\,b\in B\}$。将连续随机变量$X$的微分熵$h(X)$解释为$X$的有效支撑的大小（的对数），本文的主要贡献是这些结果的一系列自然信息论类似物。例如，对于任意一对独立的连续随机变量$X$和$Y$，Ruzsa和差界就变成了新的不等式$h(X+Y)+h(X)+h(Y)\leq 3h(X-Y)$。我们的结果包括微分熵版本的Ruzsa的三角形不等式，Plünnecke-Ruzsa不等式，和Balog-Szemerédi-Gowers引理。同时，我们给出了Freiman-Green-Ruzsa逆和集定理的微分熵形式，它可以看作是熵幂不等式的定量逆.这些结果的大多数版本的离散熵$H(X)$最近证明了陶，严重依赖于一个强大的，功能形式的子模块属性的$H(X)$。由于微分熵是{ \em not}函数次模的，在连续的情况下，许多相应的离散证明失败，在许多情况下，需要大量新的证明策略。我们发现，自然取代离散功能子模块的基本属性，是…
Submodular Combinatorial Information Measures with Applications in Machine Learning
信息理论中的量，如熵和互信息，在机器学习中有许多用途。众所周知，这些熵量和次模性之间有很强的联系，因为一组随机变量上的熵是次模的。在本文中，我们研究了组合信息的措施，推广的独立性，（条件）熵，（条件）互信息，和总的相关性定义的（不一定是随机的）变量集。这些测度严格地推广了相应的熵测度，因为它们都是通过子模函数参数化的，子模函数本身严格地推广了熵。关键是，我们表明，不同于熵互信息一般，次模互信息实际上是次模的一个参数，持有其他固定的，为一大类次模函数的三阶偏导数满足非负性。这包括一些实际上有用的情况，如设施位置和集合覆盖函数。我们研究具体的子模块信息措施的实例，以及概率覆盖，图形切割，饱和覆盖函数，并看到他们都有数学直观和实用的表达式。关于应用程序，我们连接子模块（条件）互信息的最大化的问题，如基于互信息，基于查询，和隐私保护的总结-我们连接优化多组子模块互信息聚类和强大的分区。
Inferring network properties from time series using transfer entropy and mutual information: validation of multivariate versus bivariate approaches
从时间序列中推断出的功能性和有效性网络是网络神经科学的核心。解释它们的性质需要推断的网络模型来反映关键的潜在结构特征;然而，即使是一些虚假的链接也会扭曲网络测量，挑战功能连接体。我们研究了在何种程度上可以推断的基础网络的微观和宏观性质的算法的基础上互信息和二元/多元传递熵。验证是在两个猕猴连接体和具有各种拓扑结构的合成网络（规则格，小世界，随机，无标度，模块化）上进行的。模拟是基于神经质量模型和自回归动力学（采用高斯估计直接比较功能连接和格兰杰因果关系）。我们发现，多变量传递熵捕获的关键属性的所有网络较长的时间序列。双变量方法可以在较短的时间序列中实现较高的召回率（灵敏度），但随着可用数据的增加，无法控制假阳性（较低的特异性）。这会导致高估集群、小世界和富俱乐部系数，低估最短路径长度和枢纽中心性，以及增加度分布尾部。因此，在解释通过相关性或成对统计依赖性测量获得的功能性连接体的网络特性时，而不是更全面（但需要大量数据）的多变量模型时，应谨慎使用。
Correlation Detection and an Operational Interpretation of the Renyi Mutual Information
近年来，人们提出了一系列新的量子Renyi互信息和量子Renyi条件熵的度量，并对它们的一些数学性质进行了探讨。在这里，我们表明，Renyi互信息达到操作意义的复合假设检验的背景下，当零假设是一个固定的二分状态和备择假设由所有产品的状态，共享一个边际与零假设。这个假设检验问题自然发生在信道编码中，其中它对应于测试状态是给定量子信道的输出还是其输出与环境解耦的“无用”信道的输出。同样，我们建立了一个操作的解释Renyi条件熵通过选择一个替代假设，由产品的状态，最大限度地混合在一个系统。专门的经典概率分布，我们的结果也建立了一个操作的解释Renyi互信息和Renyi条件熵。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。