Entropy Rate Estimation for Markov Chains with Large State Space
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Yale University（耶鲁大学）；Tsinghua University（清华大学）
基于数据的熵估计是分布性质检验和估计中的典型问题之一。为了估计具有独立样本的$S$元素上的分布的香农熵，[Paninski 2004]表明$S$中的样本复杂性是次线性的，[Valiant-Valiant 2011]表明当且仅当样本大小$n$远远超过$\frac{S}{\log S}$时，香农熵的一致估计是可能的。本文考虑了由$n$观测的样本路径估计具有$S$状态的平稳可逆马氏链的熵率的问题。我们证明：（1）只要马尔可夫链混合速度不太慢，即，弛豫时间至多为$O(\frac{S}{\ln^3 S})$，当$n \gg \frac{S^2}{\log S}$时可实现一致估计。(2)只要马尔可夫链有一些轻微的依赖性，即，弛豫时间至少为$1+Ω(\frac{\ln^2 S}{\sqrt{S}})$，当$n \lesssim \frac{S^2}{\log S}$时不可能进行一致的估计。在这两种假设下，最佳的估计精度是$Θ(\frac{S^2}{n \log S})$。相比之下，经验熵率要求至少$Ω(S^2)$样本是一致的，即使当马尔可夫链是无记忆的。除了合成实验之外，我们还应用实现最佳样本复杂度的估计器来估计Penn Treebank和Google One Billion Words语料库中英语语言的熵率，这为语言建模提供了一个自然的基准，并将其直接与广泛使用的困惑度度量相关联。
2018-09-24 cs.LG math.ST stat.ML
Estimating entropy rate from censored symbolic time series: a test for time-irreversibility
在这项工作中，我们介绍了一种方法来估计熵率和熵产生率从有限的符号时间序列。从统计学的观点来看，有限序列的熵估计可以解释为在截尾或截尾样本下估计分布参数的问题。我们使用这个观点来给出熵率和熵产生率的估计，假设它们是（极限）分布的参数。最后一个陈述实际上是从递归时间统计得到的估计的分布满足中心极限定理这一事实的结果。我们使用马尔可夫链模型的时间序列，离散时间混沌映射和人类基因组的实际DNA序列来测试我们的方法。
2021-01-10 cond-mat.stat-mech cs.IT math.IT
Estimating Transfer Entropy via Copula Entropy
Hitachi (China) Research & Development Corporation（日立（中国）研究开发有限公司）
因果发现是统计学中的一个基本问题，在各个领域有着广泛的应用。传递熵是度量因果关系的一个重要概念，其本质是条件互信息。Copula Entropy（CE）是一种度量统计独立性的理论，与MI是等价的.在本文中，我们证明了TE可以表示只有CE，然后提出了一个非参数的方法估计TE通过CE。将该方法应用于北京PM2.5数据的实验分析。实验结果表明，该方法可以有效地从数据中推断因果关系，从而有助于更好地理解数据。
2021-03-06 cs.IT cs.LG math.IT
copent: Estimating Copula Entropy and Transfer Entropy in R
统计独立性和条件独立性是统计学和机器学习中的两个基本概念。Copula熵是Ma和Sun定义的一个用于度量和检验多元统计独立性的数学概念，也被证明与条件独立性（或转移熵）密切相关。作为度量独立性和因果性的统一框架，并行工程已被应用于解决若干相关的统计或机器学习问题，包括关联发现、结构学习、变量选择和因果发现。Copula熵和传递熵的非参数估计方法也已提出。本文介绍了copent，R包，实现这些建议的方法估计copula熵和传递熵。介绍了该软件包的实现细节。三个例子与模拟数据和真实世界的数据变量的选择和因果关系的发现也展示了使用这个包。在变量选择和因果发现方面的实例表明，与相关软件包相比，copent具有较强的（条件）独立性检验能力。copent包可以在Comprehensive R Archive Network（CRAN）和GitHub上找到，网址是https://github.com/majianthu/copent。
2021-03-27 cs.IT cs.LG cs.MS
A Method for Estimating the Entropy of Time Series Using Artificial Neural Networks
Institute of Physics and Technology, Petrozavodsk State University（彼得罗扎沃茨克国立大学物理与技术研究所）
利用熵来度量时间序列的可预测性和复杂性是设计和控制非线性系统的重要工具。然而，现有的方法有一些缺点，涉及到熵的强依赖性的参数的方法。为了克服这些困难，本研究提出了一种新的方法估计熵的时间序列使用的LogNNet神经网络模型。根据我们的算法，LogNNet水库矩阵填充有时间序列元素。从MNIST-10数据库中的图像的分类的准确性被认为是熵度量，并表示为NNetEn。熵计算的新颖之处在于时间序列参与了混合存储器中的输入信息。时间序列中的更大复杂性导致更高的分类准确度和更高的NNetEn值。我们引入了一个新的时间序列特征，称为时间序列学习惯性，它决定了神经网络的学习速率。在混沌、周期、随机、二进制和常数时间序列上验证了该方法的鲁棒性和有效性。与其他熵估计方法的比较表明，该方法具有更好的鲁棒性和准确性，可广泛应用于实际。
2022-01-13 cs.IT cs.LG cs.NE
Estimating the variance of Shannon entropy
来自动力系统的数据的统计分析，包括但不限于时间序列，通常依赖于信息理论量的估计，最明显的是香农熵。为了这个目的，可能是最广泛的工具是由所谓的插件估计，其统计性质的偏差和方差的香农的开创性的作品出版后的第一个十年进行了调查。在基础多项分布的情况下，虽然可以通过了解支持度和数据集大小来评估偏差，但方差要难以捉摸得多。本工作的目的是调查，在多项式的情况下，一个参数的估计，描述的方差的插件估计香农熵的统计特性。然后，我们精确地确定使该参数最大化的概率分布。这里提出的结果允许设置上限的熵评估的不确定性的假设下，无记忆的基本随机过程。
2021-08-30 cs.IT math.IT
Streaming and Sublinear Approximation of Entropy and Information Distances
在数据采掘和机器学习的许多问题中，需要聚类或分类的数据项不是高维空间中的点，而是分布（高维单纯形上的点）。对于分布，距离的自然度量不是$\ell_p$范数和变体，而是信息论度量，如Kullback-Leibler距离、Hellinger距离等。这些距离的有效估计是操纵分布算法的关键组成部分。因此，次线性资源约束，无论是在时间（属性测试）或空间（流）是至关重要的。我们首先解决两个悬而未决的问题，关于属性测试的分布。首先，我们展示了一个紧界估计有界的，对称的f-分布之间的分歧在一般属性测试（次线性时间）框架（所谓的组合预言模型）。这就产生了用于估计诸如詹森-香农发散和海林格距离等众所周知的距离的最佳算法。其次，我们关闭了一个$(\log n)/H$的上限和下限之间的差距估计熵$H$在这个模型。在一个流设置（次线性空间），我们给出了第一个算法估计的熵的分布。我们的算法运行在多对数空间，并产生一个渐近常数因子近似计划。我们还提供了沿空间/时间/近似权衡曲线的其他结果。
2005-08-29 cs.DS cs.IT math.IT
Autoregressive Language Models For Estimating the Entropy of Epic EHR Audit Logs
Washington University in St. Louis（圣路易斯华盛顿大学）
针对现有横截面聚合方法无法完全捕获 EHR 会话复杂性的问题，评估了基于 transformer 的表格语言模型在测量工作流动作序列熵中的应用，并公开发布了相关模型。
2023-11-26 cs.CL cs.IT math.IT
To BEE or not to BEE: Estimating more than Entropy with Biased Entropy Estimators
本文评估18种熵估计器在软件工程Shannon度量上的表现，发现Chao-Shen和Chao-Wang-Jost估计器收敛快且准确，可显著减少数据收集成本。
2025-01-20 cs.IT cs.SE math.IT
On Estimating the Quantum Tsallis Relative Entropy
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Institute of Software, CAS（中国科学院软件研究所）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与技术学院）
本文研究了量子Tsallis相对熵的估计方法，提出了一种在量子Hellinger距离下容忍认证的高效算法，并展示了相关问题在计算复杂性方面的完备性。
2026-02-23 cs.CC cs.IT math.IT
Estimating the entropy of binary time series: Methodology, some theory and a simulation study
在神经科学中的熵估计问题的部分动机，我们提出了一个详细的和广泛的比较在实践中使用的一些最流行的和有效的熵估计方法：插件的方法，四个不同的估计Lempel-Ziv（LZ）家庭的数据压缩算法的基础上，基于上下文树加权（CTW）方法的估计，更新熵估计。** 方法。介绍了三种新的熵估计。对于四个基于LZ的估计量中的两个，描述了用于评估其标准误差的自助程序，并推导出用于选择其参数值的实用经验法则。* 理论。我们证明了，不同于他们的早期版本，这两个新的基于LZ的估计是一致的，每一个有限值，平稳和遍历过程。给出了一种精确逼近已知分布的有限状态隐马尔可夫模型熵率的有效方法。启发式计算和近似公式推导出评估的偏差和标准误差的每个估计。** 模拟。所有的估计量适用于各种各样的数据产生的众多不同的过程具有不同程度的依赖性和记忆。从这些实验中得出的一些结论包括：（i）对于所考虑的所有估计量，误差的主要来源是偏差。(ii)CTW方法被反复和一致地看到提供最准确的结果。(iii)基于LZ的估计器的性能通常与插件方法的性能相当。(iv)插入式方法的主要缺点是计算效率低。
2008-02-29 cs.IT math.IT math.ST
Embedded Polygon Symbolic Transfer Entropy (EPSTE): A Geometric Token and Deep Learning Approach to Estimating Transfer Entropy in Neuroimaging Time Series
提出EPSTE框架，将传递熵估计转化为基于局部时间形态几何符号表示的可学习问题，结合循环神经网络与注意力多实例学习，在MEG数据上实现稳定有向依赖估计。
2026-06-23 cs.IT math.IT stat.ML
Estimating Mixture Entropy with Pairwise Distances
混合分布出现在许多参数和非参数设置中-例如，在高斯混合模型和非参数估计中。通常需要计算混合物的熵，但在大多数情况下，这个量没有封闭形式的表达式，因此需要某种形式的近似。我们提出了一个家庭的估计的基础上的成对距离函数的混合成分，并表明，这种估计类有许多有吸引力的性质。对于许多感兴趣的分布，所提出的估计是有效的计算，可微的混合参数，并成为准确的混合成分时，聚类。我们证明了这个家庭包括下限和上限的混合熵。当被选择为距离函数时，Brackoff $α$ -发散给出了一个下限，其中Bhattacharyya距离为对称的组件和位置族的成员提供了最紧的下限。当用作距离函数时，Kullback-Leibler散度给出了上限。我们提供了封闭形式的表达这些界限的混合高斯，并讨论其应用程序的互信息的估计。然后，我们证明，我们的界限显着更紧比众所周知的现有的界限，使用数值模拟。这个估计器类在涉及熵和互信息的最大化/最小化的优化问题中非常有用，例如MaxEnt和率失真问题。
2018-08-22 cs.IT math.IT stat.ME
Complexity in animal communication: Estimating the size of N-Gram structures
在本文中，新的技术，允许条件熵估计组合的符号被应用到动物的通信研究，估计通信的剧目大小。通过使用条件熵估计在多个订单，本文估计的总剧目大小的动物交流的海豚，座头鲸，和几种鸟类的N-克长度为1至3。除了讨论这种方法对动物交流复杂性研究的影响外，还通过模拟将这些估计的可靠性与其他方法进行了比较。虽然由于罕见的N元语法，熵确实低估了总的库大小，但它给出了最常用的库的更准确的图片，而不仅仅是库大小。
2013-12-16 cs.IT math.IT q-bio.PE
Inference, Prediction, and Entropy-Rate Estimation of Continuous-time, Discrete-event Processes
W. M. Keck Science Department of Pitzer, Scripps, and Claremont McKenna College（皮泽学院、斯克里普斯学院和克莱蒙特·麦肯纳学院W.M.凯克科学系）；University of California at Davis（加州大学戴维斯分校）
推断模型，预测未来，估计离散时间的熵率，离散事件过程是很好的基础。然而，一类更广泛的离散事件过程在连续时间中运行。在这里，我们提供了新的方法来推断，预测和估计它们。该方法依赖于扩展的贝叶斯结构推理，利用神经网络的通用逼近能力。基于复杂的合成数据的实验，该方法具有竞争力的国家的最先进的预测和熵率估计。
2020-05-07 cond-mat.stat-mech cs.IT cs.LG
Estimating Conditional Transfer Entropy in Time Series using Mutual Information and Non-linear Prediction
我们提出了一个新的估计量来衡量时间序列的有向依赖。首先使用新的非均匀嵌入技术降低数据的维数，其中变量根据新信息量的加权和和以及变量提供的预测准确性的提高进行排名。然后，使用贪婪方法，以迭代的方式选择信息量最大的子集。当与使用现有的所选子集获得的预测准确度相比，排名最高的变量不能显著提高预测准确度时，算法终止。在模拟研究中，我们比较我们的估计现有的国家的最先进的方法在不同的数据长度和定向依赖强度。结果表明，所提出的估计有一个显着更高的精度比现有的方法，特别是对于困难的情况下，其中的数据是高度相关和耦合。此外，我们表明，由于瞬时耦合效应的有向依赖的错误检测低于现有的措施。我们还表明，所提出的估计真实颅内脑电图数据的适用性。
2020-11-27 cs.IT math.IT stat.ME
Memory Complexity of Estimating Entropy and Mutual Information
该论文研究了在有限状态机约束下估计熵和互信息的记忆复杂度，给出了最小状态数的上下界，并通过近似计数和归约到均匀性检验证明了结果。
2025-04-23 cs.IT math.IT
Measuring Quantum Entropy
量子系统的熵是其随机性的度量，并且在测量量子纠缠方面有应用。研究了在$d$维中，当给定$ρ$的独立拷贝时，测量未知混合量子态$ρ$的冯诺依曼熵$S(ρ)$和雷尼熵$S_α(ρ)$的问题.我们提供了一个算法，复制复杂度$O(d^{2/α})$估计$S_α(ρ)$的$α<1$，和复制复杂度$O(d^{2})$估计$S(ρ)$，和$S_α(ρ)$的非整数$α>1$。这些界限在$d$中至少是二次的，这是学习整个状态$ρ$所需的副本数量的顺序依赖性。对于积分$α>1$，另一方面，我们提供了一个算法估计$S_α(ρ)$与次二次拷贝复杂度$O(d^{2-2/α})$。我们的特点是复制复杂性的积分$α>1$常数的因素，通过提供匹配的下限。对于其他值的$α$，和冯诺依曼熵，我们显示的算法，达到上限的下限。这表明我们要么需要新的算法来获得更好的上界，要么需要更好的下界来收紧结果。对于非整数$α$和von Neumann熵，我们考虑著名的经验Young图（EYD）算法，它是经典分布估计中经验插入估计的模拟。作为一个推论，我们加强了EYD算法的复制复杂性的下限，学习最大的混合状态，通过显示，下限持有指数概率（这是以前已知的持有一个恒定的概率）。对于积分型$α>1$，我们给出了在杨图Kerov代数中出现的某些多项式的新的集中结果.
2017-11-06 cs.DS cs.IT math.IT
Determining the Number of Samples Required to Estimate Entropy in Natural Sequences
计算符号序列的Shannon熵在许多领域都有广泛的应用。对于描述性统计问题，例如估计英语文本的N-gram熵，一种常见的方法是使用尽可能多的数据来获得逐渐更准确的估计。然而，在某些情况下，只有短序列可用。这就产生了计算熵需要多少样本的问题。在本文中，我们研究这个问题，并提出了一种方法来估计计算香农熵的一组排名的象征性的自然事件所需的样本数。结果是开发使用修改后的Zipf-Mandelbrot法和Dvoretzky-Kiefer-Wolfowitz不等式，我们提出了一种算法，该算法产生的估计所需的最小样本数，以获得一个估计的熵与给定的置信水平和准确度。
2018-05-23 cs.IT math.IT math.ST
Estimating Reliability of Electric Vehicle Charging Ecosystem using the Principle of Maximum Entropy
本文利用最大熵原理在信息有限条件下估计电动汽车充电系统可靠性，揭示局部应力事件可引发网络级可靠性骤降，并量化熵与可靠性的反比关系，为复杂系统风险管理提供通用工具。
2025-08-15 cs.IT cs.SY eess.SY
Generalized Estimating Equation for the Student-t Distributions
在\cite{KumarS15J2}中，证明了（规范）$α$-幂律模型（$\mathbb{M}^{(α)}$-族）上的广义最大似然估计问题可以通过求解线性方程组来求解。这是由于$\mathbb{M}^{(α)}$-族和线性族之间关于相对$α$-熵（或$\mathscr{I}_α$-发散）的正交关系。相对$α$-熵是通常的相对熵（或Kullback-Leibler散度）的推广。$\mathbb{M}^{(α)}$-族是通常指数族的推广。在本文中，我们首先推广了$\mathbb{M}^{(α)}$-族，包括多元，连续的情况下，并表明学生t分布落在这个家庭。然后我们将\cite{KumarS15J2}的上述结果推广到一般的$\mathbb{M}^{(α)}$族.最后，我们将这一结果应用于Student-t分布，得到了其参数的广义估计.
2018-01-27 cs.IT math.IT math.PR
On the Complexity of Estimating Renyi Divergences
本文研究了离散分布的Renyi发散估计的复杂性：$p$从样本中观察到的和基线分布$q$已知\emph{a priori}。扩展Acharya等人的结果。（SODA'15）估计Renyi熵，我们提出了改进的估计技术，以及上界和下界的样本复杂性。我们发现，相反，估计Renyi熵的次线性（在字母表大小）的样本数就足够了，样本的复杂性是严重依赖于\emph{events occurring unlikely}在$q$，一般是无界的（无论使用什么估计技术）。对于大于$1$阶的任何发散，我们提供了依赖于$p$和$q$概率的样本数量的上界和下界。我们的结论是，最坏情况下的样本复杂度是多项式的字母表大小当且仅当概率的$q$是不可忽略的。这给出了理论上的见解，在应用论文中使用的算法来处理数值不稳定性，这发生在小概率的$q$。我们的结果解释了小概率应该小心处理，不仅因为数值问题，而且因为在样本复杂性的爆炸。
2017-02-08 cs.CC cs.IT math.IT
On the Sample Complexity of Compressed Counting
压缩计数法是近年来提出的一种基于最大偏斜稳定随机投影的数据流p阶频率矩估计方法。p->1的情况对于估计数据流的Shannon熵是非常有用的。在这项研究中，我们提供了一个非常简单的算法的基础上的样本最小估计，并证明了一个大大改善的样本复杂性界，与以前的结果。
2009-10-08 cs.DS cs.IT math.IT
A Quantum Algorithm Framework for Discrete Probability Distributions with Applications to Rényi Entropy Estimation
本文提出面向离散概率分布性质估计的统一量子算法框架，结合 QSVT、量子退火与变时振幅估计，改进了 α-Rényi 熵估计的查询复杂度。
2024-04-03 cs.DS cs.IT math.IT
Computational hardness of estimating quantum entropies via binary entropy bounds
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Nagoya University（名古屋大学）
研究通过二进制熵界估计量子α-瑞尼熵和量子q-塔斯利斯熵的计算难度，证明其BQP完备性，揭示了不同阶数熵估计的复杂性。
2026-04-07 cs.CC cs.IT math.IT
Estimating quantum relative entropies on quantum computers
本研究提出首个可直接估计两个未知量子态量子相对熵与Petz Renyi散度的量子算法，电路规模小、适用于分布式场景，验证了无贫瘠高原现象，并发现量子比特信道相干信息严格超可加性新实例。
2025-10-01 cs.IT cs.LG cs.NA
NPD Entropy: A Non-Parametric Differential Entropy Rate Estimator
平稳离散值随机过程的熵率估计是信息论中的一个重要研究课题。然而，估计平稳连续值随机过程的熵率并没有得到太多的关注。事实上，许多现有技术不能准确地估计或计算强相关过程的微分熵率的复杂度，例如分数高斯噪声和ARFIMA（0，d，0）。甚至有些人甚至不能检测到熵率的趋势，例如，当它增加/减少时，最大或渐近趋势，作为其Hurst参数的函数。然而，最近开发的技术以高计算成本提供准确的估计。在本文中，我们定义了一个强大的技术，非参数估计的微分熵率的连续值随机过程的观测数据，通过显式的联系之间的微分熵率和香农熵率的量化版本的原始数据。估计由香农熵速率估计器执行，然后转换为差分熵速率估计。我们表明，这种技术继承了许多重要的统计特性从香农熵率估计。对于强相关过程，该估计器能够提供比定义的相对度量更好的估计，并且比已知的绝对度量更快的估计。最后，我们分析了估计技术的复杂性，并测试了对非平稳性的鲁棒性，并表明目前的技术都不对非平稳性具有鲁棒性，即使它们对强相关性具有鲁棒性。
2021-05-24 cs.IT math.IT math.ST
Adaptive Estimation of Shannon Entropy
我们考虑从$n$ i.i.d.估计离散分布$P$的香农熵。样品最近，Jiao，Venkat，Han，Weissman，Wu和Yang构造了近似理论估计，在估计熵时达到了极小极大$L_2$率.它们的估计量在给定$n \gg \frac{S}{\ln S}$样本下是一致的，其中$S$是字母表大小，并且它是最佳可能的样本复杂度。相比之下，最大似然估计（MLE），即经验熵，需要$n\gg S$样本。在本论文中，我们显着细化现有工作的极大极小结果。为了减轻最小最大性的悲观主义，我们采用自适应估计框架，并表明，在焦，文卡特，韩，和韦斯曼的最小最大率最优估计达到最小最大率同时在一个嵌套序列的子集分布$P$，不知道字母表大小$S$或哪个子集$P$在于。换句话说，它们的估计量相对于参数空间的嵌套序列是自适应的，其特征在于分布的熵。我们还描述了最大似然估计在这个嵌套序列的最大风险，并显示，对于序列中的每个子集，与$n$样本的极小极大率最优估计的性能基本上是与$n\ln n$样本的极大似然估计，从而进一步证实了焦，文卡特，韩和韦斯曼所确定的现象的一般性。
2019-01-01 cs.IT math.IT
An Exact Upper Bound on the $L^p$ Lebesgue Constant and The $\infty$-Rényi Entropy Power Inequality for Integer Valued Random Variables
本文证明了$p\ge 2$的$L^p$勒贝格常数（即Dirichlet核的$L^p$范数）的一个精确渐近上界.作为应用，我们还证明了一个新的整数值随机变量的$\infty $熵幂不等式的意义.
2018-08-23 cs.IT math.FA math.IT
Constant conditional entropy and related hypotheses
University of California at Santa Barbara（加州大学圣巴巴拉分校）
恒定熵率（条件熵必须随着序列长度的增加而保持恒定）和均匀信息密度（条件概率必须随着序列长度的增加而保持恒定）是两个信息论原则，它们被认为是各种语言现象的基础。在这里，我们修改这些原则的预测，以希尔伯格定律的缩放条件熵的语言和相关法律。我们发现，恒定熵率（CER）和均匀信息密度（UID）的两种解释，全UID和强UID，不符合这些法律。强UID意味着CER，但反过来则不正确。全UID，UID的一种特殊情况，导致完全不切实际的昂贵的不相关序列。我们的结论是CER及其特殊情况下是不完整的假设条件熵的缩放。
2013-05-23 cond-mat.stat-mech cs.CL cs.IT
Period doubling, information entropy, and estimates for Feigenbaum's constants
倍周期分叉和Feigenbaum常数之间的关系已经研究了近40年，这种关系有助于揭示多个非线性动力系统的普遍标度的许多基本方面。本文将结合信息熵和符号动力学来演示如何单独使用这些工具来定义倍周期。此外，该技术使我们能够发现一些意想不到的，简单的估计费根鲍姆的常数，将它们与日志2和黄金分割率，φ，以及彼此。
2013-08-03 cs.IT math.IT nlin.AO
Information In The Non-Stationary Case
Strong等人（1998年）的“直接法”等信息估计方法通过估计响应的边际熵和条件熵之间的差异，避开了估计响应和刺激的联合分布的难题。虽然这是一种有效的估计策略，但它诱使从业者忽视刺激的作用和互信息的意义。我们在这里表明，随着试验次数的无限增加，边际熵的直接（或"插件“）估计收敛（概率为1）到响应的时间平均条件分布的熵，条件熵的直接估计收敛到响应的条件分布的时间平均熵。在响应和刺激的联合平稳性和遍历性下，这些量的差收敛到互信息。当刺激是确定性的或非平稳的信息的直接估计不再估计互信息，这是不再有意义的，但它仍然是一个跨时间的响应分布的可变性的措施。
2008-07-18 cs.IT math.IT q-bio.NC
Minimax rates of entropy estimation on large alphabets via best polynomial approximation
考虑从$n$独立样本估计$k$元素上分布的香农熵的问题。我们表明，极小极大均方误差是在通用乘法常数因子的$$\Big(\frac{k }{n \log k}\Big)^2 + \frac{\log^2 k}{n}$$，如果$n$超过一个常数因子的$\frac{k}{\log k}$，否则不存在一致的估计。这完善了Valiant-Valiant \cite{VV11}的最新结果，即一致熵估计的最小样本量根据$Θ(\frac{k}{\log k})$进行缩放。最佳多项式逼近的装置在最佳估计量的构造中起着关键作用，并且通过对偶性参数，极大极小下界。
2016-02-18 cs.IT math.IT math.ST
Entropy estimation of symbol sequences
我们讨论的算法估计的Shannon熵h的有限符号序列与长程相关。特别是，我们考虑根据某些压缩算法产生的代码长度来估计h的算法。我们的兴趣是在描述他们的收敛与序列长度，假设没有限制的空间和时间复杂性的压缩算法。提出了一个标度律外推从有限的样本长度。这是适用于序列的动力系统在非平凡的混沌制度，1-D元胞自动机，并书面英语文本。
2002-03-21 cond-mat.stat-mech cs.CL cs.IT
