自然语言中的过剩熵研究现状与展望

持久互信息的性质与涌现

Properties of Persistent Mutual Information and Emergence

持续互信息（PMI）是随机过程的一种复杂性度量。它与众所周知的复杂性度量有关，如超额熵或统计复杂性。从本质上讲，它是过剩熵的一种变化，因此它可以被解释为系统内部记忆的一种特定度量。PMI最早由Ball、Diakonova和MacKay于2010年提出，作为衡量（强势）崛起的指标。在本文中，我们定义的PMI数学和调查的关系，过剩熵和统计复杂性。特别是我们证明了过剩熵是PMI的一个上界。此外，我们展示了PMI的一些属性，并计算它明确的一些示例过程。我们还讨论了在何种程度上它是一个措施的出现，并比较它与其他方法用于正式出现。

几个基本信息论不等式的统一变分观点

A Unifying Variational Perspective on Some Fundamental Information Theoretic Inequalities

本文提出了一种统一的变分方法来证明和推广一些基本的信息论不等式。基本的信息论结果，如最大化的微分熵，最小化的Fisher信息（Cramér-Rao不等式），最坏的加性噪声引理，熵功率不等式（EPI），和极值熵不等式（EEI）被解释为功能性问题，并证明变分的框架内。几个应用程序和可能的扩展所提出的结果进行了简要介绍。

Continuity of Generalized Entropy and Statistical Learning

We study the continuity property of the generalized entropy as a function of the underlying probability distribution, defined with an action space and a loss function, and use this property to answer the basic questions in statistical learning theory: the excess risk analyses for various learning methods. We first derive upper and lower bounds for the entropy difference of two distributions in terms of several commonly used f-divergences, the Wasserstein distance, a distance that depends on the action space and the loss function, and the Bregman divergence generated by the entropy, which also …

熵-秩比：一种基于熵的DNA复杂性与分类新视角

Entropy-Rank Ratio: A Novel Entropy-Based Perspective for DNA Complexity and Classification

本文提出熵秩比R，通过序列在全局熵分布中的相对位置度量DNA复杂性，避免香农熵饱和问题，并将其用于CNN数据增强，在病毒和人类基因分类任务中以轻量架构显著提升准确率。

Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective

Entropy coding is the backbone data compression. Novel machine-learning based compression methods often use a new entropy coder called Asymmetric Numeral Systems (ANS) [Duda et al., 2015], which provides very close to optimal bitrates and simplifies [Townsend et al., 2019] advanced compression techniques such as bits-back coding. However, researchers with a background in machine learning often struggle to understand how ANS works, which prevents them from exploiting its full versatility. This paper is meant as an educational resource to make ANS more approachable by presenting it from a new pe…

Pickands定理的熵观

An entropic view of Pickands' theorem

结果表明，在Renyi-Tsallis最大熵设置中出现的分布与广泛用于建模分布尾部的广义帕累托分布（GPD）有关。这种模型化的相关性，以及GPD在实际情况中的普遍性，来自于关于超额分布（超过高阈值）的Escherema-De Haan-Pickands定理。我们提供了一个熵的观点，这一结果，通过显示，一个适当的归一化过剩变量的分布收敛到最大Tsallis熵，这是GPD的解决方案。这突出了所谓的Tsallis分布在许多应用中的相关性，以及与相应熵的使用的一些相关性。

Maximum Multiscale Entropy and Neural Network Regularization

A well-known result across information theory, machine learning, and statistical physics shows that the maximum entropy distribution under a mean constraint has an exponential form called the Gibbs-Boltzmann distribution. This is used for instance in density estimation or to achieve excess risk bounds derived from single-scale entropy regularizers (Xu-Raginsky '17). This paper investigates a generalization of these results to a multiscale setting. We present different ways of generalizing the maximum entropy result by incorporating the notion of scale. For different entropies and arbitrary sca…

过去与未来在当下

The Past and the Future in the Present

我们展示了过去和未来之间的共享信息--超额熵--是如何从存储在现在的方向信息的组成部分--预测和追溯因果状态中获得的。一个详细的证明使我们能够突出一些微妙的问题，在估计和分析，阻碍准确计算的过剩熵。

Generic Variance Bounds on Estimation and Prediction Errors in Time Series Analysis: An Entropy Perspective

In this paper, we obtain generic bounds on the variances of estimation and prediction errors in time series analysis via an information-theoretic approach. It is seen in general that the error bounds are determined by the conditional entropy of the data point to be estimated or predicted given the side information or past observations. Additionally, we discover that in order to achieve the prediction error bounds asymptotically, the necessary and sufficient condition is that the "innovation" is asymptotically white Gaussian. When restricted to Gaussian processes and 1-step prediction, our boun…

结构组织的统计特征：更新过程中的长记忆情况

Statistical Signatures of Structural Organization: The case of long memory in renewal processes

识别和量化记忆通常是发展随机过程的机械理解的关键步骤。这些是特别具有挑战性和必要的探索过程中表现出长程相关性。最常见的签名依赖于二阶时间统计，并导致，例如，在幂律自相关函数和赫斯特指数大于$1/2$的过程中识别长记忆。然而，大多数随机过程将其记忆隐藏在高阶时间相关性中。信息测量-具体来说，过程的过去和未来之间的互信息（超额熵）和存储在过程的因果状态中的最小预测记忆（统计复杂性）之间的差异-提供了一种不同的方法来识别具有高阶时间相关性的过程中的长记忆。然而，有没有遍历平稳过程与无限的过剩熵的信息措施进行了比较，自相关函数和赫斯特指数。在这里，我们表明，分形更新过程-那些与intervent分布尾巴$\propto t^{-α}$ -通过在$α= 1$相变表现出长记忆。超额熵只在那里发散，统计复杂度在那里发散，并且对于所有$α< 1$。当这些过程具有幂律自相关函数和大于$1/2$的Hurst指数时，它们不具有发散的过剩熵。这种分析打破了这些不同记忆量化之间的直观联系。我们希望，这里使用的方法，基于因果状态，提供一些指导，如何构建和分析其他长记忆过程。