Regular Hilberg Processes: An Example of Processes with a Vanishing Entropy Rate
正则Hilberg过程是同时满足最大重复次数的超对数增长和拓扑熵的幂律增长的平稳过程，这是一种对偶条件。实验观察到，在自然语言的文本中，最大重复的超对数增长，而拓扑熵的幂律增长意味着香农熵率的消失，因此可能不适用于自然语言。在本文中，我们提供了一个建设性的例子，我们称之为随机层次联想（RHA）过程的正规Hilberg过程。我们的施工不采用标准的切割和堆放方法。对于所构造的RHA过程，我们证明了任何唯一可解码的代码的预期长度是数量级大于香农块熵的遍历组件的RHA过程。我们的命题补充了Shields关于不存在泛冗余率的经典结果。
2016-11-16 cs.IT math.IT
Rényi Cross-Entropy Measures for Common Distributions and Processes with Memory
香农交叉熵的两种Rényi型推广，Rényi交叉熵和Natural Rényi交叉熵，最近被用作深度学习生成对抗网络改进设计的损失函数。在这项工作中，我们在[1]中的结果的基础上，通过推导属于指数族的广泛一类常见连续分布的Rényi和Natural Rényi微分交叉熵测度的封闭形式，并将结果列表以便于参考。我们还总结了平稳高斯过程之间和有限字母表时不变马尔可夫源之间的Rény型交叉熵率。
2022-08-19 cs.IT math.IT
Information Content and Entropy of Finite Patterns from a Combinatorial Perspective
该研究从组合视角提出有限模式信息量与熵的统一组合定义，推导信息量通用性质，给出基于压缩算法和Kolmogorov复杂度的归一化信息估计方法，重新定义的熵渐近兼容传统熵，突破香农信息的适用局限。
2025-01-18 cs.DM cs.IT math.IT
Low and Upper Bound of Approximate Sequence for the Entropy Rate of Binary Hidden Markov Processes
本文证明了某些二元隐马尔可夫模型熵的近似序列存在两个有界序列，即下界序列和上界序列。近似序列的误差偏差由具有小于1的比例因子的几何序列约束，该几何序列迅速减小到零。这有助于理解一般隐马尔可夫模型熵率的收敛性，并为某些隐马尔可夫模型的熵率的任意精度估计提供了理论基础。
2011-12-29 cs.IT math.IT
Differential Entropy Rate Characterisations of Long Range Dependent Processes
微分熵率是连续值随机过程的一个有趣的量。LRD过程的许多性质的收敛速度比基于传统过程（例如马尔可夫过程）的直觉所预期的要慢。熵率也是这样吗？在本文中，我们考虑具有幂律衰减的自相关函数的随机过程的微分熵率的性质。我们发现，幂律衰减过程具有相似的自相关和谱密度函数，分数高斯噪声和ARFIMA（0，d，0），有不同的熵特性，特别是负相关的参数化。然后给出了平稳高斯过程的过去与未来之间的互信息与微分过剩熵之间的等价关系，指出该量的有限性是长程相关与短程相关之间的边界。最后，我们分析了条件熵到微分熵率的收敛性，证明了对于短程依赖过程，条件熵到微分熵率的收敛速度是$O(n^{-1})$阶，而对于长程依赖过程，条件熵到微分熵率的收敛速度较慢，并且与Hurst参数有关.
2021-10-30 cs.IT math.IT math.PR
A Lower Bound on the Entropy Rate for a Large Class of Stationary Processes and its Relation to the Hyperplane Conjecture
给出了概率密度函数序列满足一定正则性条件的平稳过程的微分熵率的一个新下界。这个界限是通过证明这样一个过程的微分熵率和具有相同自协方差函数的高斯过程的微分熵率之间的差距是有界的。这个结果是基于最近的结果边界的Kullback-Leibler分歧的Wasserstein距离由Polyanskiy和吴。此外，它与凸几何中著名的超平面猜想（也称为切片问题）有关，最初由J. Bourgain提出。基于Bobkov和Madiman给出的超平面猜想的一个熵公式，讨论了我们的结果与超平面猜想的关系。
2017-08-29 cs.IT math.IT
On Entropy and Bit Patterns of Ring Oscillator Jitter
来自自激环形振荡器的热抖动（相位噪声）是真随机数发生器（TRNG）中常见的、易于实现的物理随机性源。我们将展示如何评估环形振荡器噪声源的熵，自相关和位模式分布，即使是低抖动水平或一些偏见。NIST 800- 90 B和AIS-31测试以及RISC-V熵源扩展等应用都需要熵调整。我们的数值评估算法在速度和准确性方面优于Monte Carlo模拟。我们还提出了一个新的下界估计公式的熵的环形振荡器源，适用于更普遍的比以前的。
2021-10-12 cs.CR cs.IT eess.SP
Maximum Rényi Entropy Rate
研究了Rényi熵率的两个最大化问题：边缘值满足线性约束的随机过程的最大化问题和自协方差函数以某个给定值开始的随机过程的Burg-like最大化问题.这些解与类似的香农熵率最大化问题的解有关。
2015-01-03 cs.IT math.IT
Taylor series expansions for the entropy rate of Hidden Markov Processes
隐马尔可夫过程的熵率是一个非常活跃的研究课题，具有重要的理论和实际意义。最近使用的一种方法是研究熵率在不同制度下的渐近行为。在本文中，我们推广并证明了以前的猜想有关的熵率熵有限系统。在我们的新定理的基础上，我们建立了两个不同制度的熵率的级数展开。我们还研究了这两个级数展开式的收敛半径。
2005-10-03 cond-mat.stat-mech cs.IT math.IT
Information Theory Inspired Pattern Analysis for Time-series Data
Imperial College London（帝国理工学院）；The UK Dementia Research Institute（英国痴呆症研究所）；University of York（约克大学）；University College London（伦敦大学学院）
针对现有时间序列模式分析方法泛化性差的问题，提出基于信息论特征的高泛化性方法，在人类活动数据上验证显示其性能提升显著且模型参数量大幅减少。
2023-04-28 cs.AI cs.IT math.IT
Voronoi-Markov chain and spatial entropy for point pattern analysis
Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）；DigITs AI/ML Solutions（DigITs AI/ML 解决方案）
本文提出基于Voronoi盆地和马尔可夫链的稠密盆地熵，用于点模式分析，可敏感检测聚类，并在组织病理学中提供互补于传统熵的判别度量。
2026-09-30 cs.IT math.IT
Consistency of the Plug-In Estimator of the Entropy Rate for Ergodic Processes
熵的插件估计器是分布的熵，其中符号或块的概率已被替换为它们在样本中的相对频率。插件估计量的一致性和渐近无偏性可以很容易地在IID的情况下证明。在本文中，我们问的插件估计是否可以用于一致估计的熵率$h$的平稳遍历过程。如果为了估计$k$阶的块熵，我们使用比$2^{k(h+ε)}$长的样本，则答案是肯定的，而如果我们使用比$2^{k(h-ε)}$短的样本，则答案是否定的。特别地，如果我们不知道熵率$h$，则使用长度为$(|X|+ε)^{k}$的样本就足够了，其中$|X|$是字母表大小。使用$k$块编码来导出结果。作为我们的技术的副产品，我们还表明，块熵的平稳过程是有界的平均块熵的遍历组件的非线性函数。这个不等式可以用来证明平稳过程的熵率等于其遍历分量的平均熵率这一已知事实。
2016-04-26 cs.IT math.IT
How Compressible are Innovation Processes?
有限维信号的稀疏性和可压缩性在压缩感知等领域有着重要的意义。压缩性的概念也扩展到无限序列的i.i.d.或遍历随机变量，基于它们的非线性k项近似中的观测误差。在这项工作中，我们使用熵测度来研究连续域新息过程（也称为白噪声）的可压缩性。具体来说，我们定义这样的措施作为熵限制的双重量化（时间和幅度）的过程。这提供了一个工具来比较各种创新过程的可压缩性。它还使我们能够确定一个类似的概念“熵维数”这是最初定义的雷尼随机变量。特别注意稳定和脉冲泊松创新过程。在这里，我们的结果认识到泊松创新是更可压缩的创新，其熵度量远低于稳定创新的熵度量。虽然这一结果偏离了以前关于厚尾分布的可压缩性的知识，但我们的熵度量根据它们的尾部衰减对稳定的创新进行了排名。
2018-01-21 cs.IT math.IT
Rényi entropy and pattern matching for run-length encoded sequences
本文研究了游程编码序列的最长公共子串长度的渐近性质。当原始序列是由具有指数衰减的$α$ -混合过程（或具有多项式衰减的$ψ$ -混合过程）生成时，我们证明了该长度随依赖于前推测度的Rényi熵的系数而几何地增长。对于Bernoulli过程和马尔可夫链，这个系数是显式计算的。
2020-12-11 cs.IT math.DS math.IT
Analytical computation of frequency distributions of path-dependent processes by means of a non-multinomial maximum entropy approach
路径依赖的随机过程通常是非遍历的，观测量不再能在系综图像中计算。由此产生的数学困难造成严重限制的路径依赖过程的分析理解。它们的统计量通常是非多项式的，因为状态出现的多重性不是多项式因子。最大熵原理与多项过程、非相互作用系统和系综图像密切相关;它对路径依赖过程失去了意义。在这里，我们表明，一个等价的合奏图片存在的路径依赖的过程，这样的非多项式统计的基础动力学过程，通过建设，被正确地捕获在一个功能，发挥了相对熵的作用。我们证明了这一点的自我加强波利亚瓮过程，明确概括多项式统计。我们证明了充分的建设性的方法对非多项式垂悬的熵计算频率和秩分布的波利亚瓮过程。我们展示了如何微观更新规则的路径依赖的过程，使我们能够明确地构建一个非多项式熵功能，最大化时，预测的时间依赖的分布函数。
2016-12-23 cond-mat.stat-mech cs.IT math.IT
On Hidden Markov Processes with Infinite Excess Entropy
研究了过去和未来之间的互信息为无穷大的平稳隐马尔可夫过程。假设可观测状态的数目是有限的，而隐状态的数目是可数无穷的。在此假设下，我们证明了隐马尔可夫过程的块互信息的上界是由隐状态分布的尾部指数所决定的幂律。此外，我们展示了三个过程的例子。前面考虑的第一个例子是非遍历的，块之间的互信息由块长度的对数限定。第二个例子也是非遍历的，但是块之间的互信息服从幂律。第三个例子服从幂律，并且是遍历的。
2012-11-21 cs.IT math.IT
Polyadic Entropy, Synergy and Redundancy among Statistically Independent Processes in Nonlinear Statistical Physics with Microphysical Codependence
代表感兴趣的过程的观测量之间共享的信息传统上是在宏观尺度的措施，表征底层过程及其相互作用的总属性进行评估。传统的信息测量是基于这样一个假设，即可观察到的是一个无记忆的过程，微观状态之间没有任何相互作用。广义熵测度已经在非广延统计力学中被公式化，目的是在熵量化中考虑微观物理的相互依赖。在制定信息计量时考虑到这些因素，就提出了一个问题，即是否以及如果是的话，有多少信息渗透到各个尺度，对宏观尺度的信息计量产生影响。本研究调查和量化的宏观尺度信息的出现，从微观物理之间的微观尺度相互依赖。为了隔离的信息出现完全来自非线性相互作用的微观物理，冗余和协同作用之间的宏观变量，统计上相互独立，但不一定是在自己的微观物理进行评估。当微物理相互作用发生时，即使统计分布是可因子分解的，也会发现协同和冗余信息。这些发现强调了非线性统计物理学在共同进化系统中对信息论的附加价值。
2017-12-05 cs.IT math.IT
Amplitude- and Frequency-based Dispersion Patterns and Entropy
基于排列模式的方法，如排列熵（PerEn），已被广泛和成功地用于分析数据。然而，这些方法具有两个主要缺点。首先，当基于排列模式对序列进行符号化时，重复作为数据中不可避免的现象未被考虑在内。其次，它们只考虑幅度值的顺序，因此，关于幅度值本身的一些信息可能被忽略。为了解决这些缺陷，我们最近引入了色散模式，随后引入了色散熵（DispEn）。在本文中，我们研究了不同的线性和非线性映射方法，用于算法的DispEn，对信号的表征的效果。我们还检查了不同参数的DispEn噪声的敏感性。此外，我们引入基于频率的DispEn（FDispEn）作为一种措施，以处理只有频率的时间序列。结果表明，与PerEn不同，具有对数S形映射方法的DispEn和FDispEn可以检测离群值。此外，原始和基于频率的禁止色散模式被引入到区分确定性和随机时间序列。计算时间表明，DispEn和FDispEn比PerEn快得多。最后，我们发现，DispEn和FDispEn优于PerEn区分各种动态的生物医学信号。由于其优于现有的熵方法，DispEn和FDispEn预计将被广泛用于各种各样的真实世界的时间序列的表征。
2017-08-03 cs.IT math.IT physics.data-an
A Notion of Entropy for Stochastic Processes on Marked Rooted Graphs
在本文中，我们引入了标记根图上的随机过程的熵的概念。为此，我们采用局部弱极限理论的稀疏标记图的框架，也被称为客观的方法，由于Benjamini，Schramm，Aldous，Steele和Lyons。我们的贡献是一个推广的概念熵介绍了由Bordenave和Caputo的图形进行标记在他们的顶点和边缘。时间序列理论是驱动控制理论、通信、信息论和信号处理等领域的大量应用的引擎。可以预期的是，由组合结构（特别是图）索引的平稳随机过程理论最终会产生类似的广泛影响。
2019-08-02 cs.IT math.IT math.PR
Infinite Excess Entropy Processes with Countable-State Generators
我们提出了两个例子，有限字母表，无限的过剩熵过程产生的不变的隐马尔可夫模型（HALTH）与可数状态集。第一个简单的例子不是遍历的，但第二个是。这似乎是这种类型的过程的第一个结构。以前的例子中，无限的过剩熵过程在有限的字母承认只有不变的HMM表示与不可数的状态集。
2011-11-14 cond-mat.stat-mech cs.IT math.IT
Permutation Entropy for Signal Analysis
本文介绍排列熵这一熵变体，用于在噪声环境中研究和分类射频信号，因其与幅度无关而能比较不同尺度信号，并包含实证分析与分类结果。
2024-07-18 cs.DM cs.IT math.IT
A note on a complex Hilbert metric with application to domain of analyticity for entropy rate of hidden Markov processes
本文证明了正矩阵的复小扰动是标准复单纯形上关于复希尔伯特度量的压缩。我们发现，这个度量可以用来获得的域的解析性的熵率的隐马尔可夫过程时，底层马尔可夫链具有严格的正转移概率的估计。
2009-05-15 cs.IT math.DS math.IT
Entropy Rates of the Multidimensional Moran Processes and Generalizations
基本的生物过程的相互关系自然选择，突变和随机漂移量化的熵率的突变，测量长期变化的马尔可夫过程的莫兰过程。的熵率表现直观相对于进化参数，如单调性相对于突变概率（中性景观），相对健身，和强度的选择。严格上界，只依赖于复制类型的数量，为熵率给出了中性适应度景观达到最大的大人口限制。计算各种额外的限制，包括小突变，弱选择和强选择，以及保持其他参数不变的大种群，揭示了每个进化参数对过程的长期结果的个体贡献和依赖性。
2014-01-13 cs.IT math.DS math.IT
Entropy of Hidden Markov Processes via Cycle Expansion
隐马尔可夫过程是现代概率建模的基本工具之一。然而，它们的熵的表征仍然是一个悬而未决的问题。在这里，HMP的熵是通过zeta函数的循环展开计算的，这是一种从动力系统理论中采用的方法。对于一类HMP，这种方法产生的熵和矩母函数的精确结果。后者允许估计，通过的HMP的大偏差的概率，通过的HMP界。更一般地，该方法通过收敛级数提供了矩母函数和熵的表示。
2008-10-23 cond-mat.other cs.IT math.IT
Multiperiodic Processes: Ergodic Sources with a Sublinear Entropy
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文提出多周期过程，一种由随机位移生成的确定性多周期序列构成的平稳遍历过程，具有消失的香农熵率，并满足齐夫定律和希尔伯格定律。
2026-06-26 cs.IT cs.LG math.IT
Symbolic transfer entropy rate is equal to transfer entropy rate for bivariate finite-alphabet stationary ergodic Markov processes
传递熵是联合分布随机过程之间信息流大小和方向的度量。近年来，它的置换类似物在文献中被认为是通过计数值的排序出现的次数来估计转移熵，而不是值本身。已经表明，置换的方法是易于实现，计算成本低，并适用于现实世界的时间序列数据时，对噪声的鲁棒性。在本文中，我们提出了相应的速率的理论处理。特别是，我们认为转移熵率和它的置换模拟，符号转移熵率，并表明，他们是平等的任何二元有限字母平稳遍历马尔可夫过程。这个结果是[T. Haruna和K. Nakajima，Physica D 240，1370（2011）]。我们还讨论了转移熵率、时延互信息率以及它们的置换类比之间的关系。
2013-03-11 cs.IT math.IT nlin.CD
Entropy-Regularized Partially Observed Markov Decision Processes
University of Melbourne（墨尔本大学）；The Australian National University（澳大利亚国立大学）
本研究提出熵正则化POMDP框架，证明标准技术可提供有界误差解，并发现联合熵正则化可实现精确的主动状态估计，构成新颖且易处理的公式。
2023-02-04 cs.AI cs.IT cs.SY
Maximum entropy network states for coalescence processes
复杂网络状态是指系统的结构与动力相互作用的结果。表示这种状态的一种方法是通过网络密度矩阵，其冯诺伊曼熵表征与给定拓扑结构和动力学演化相容的不同微观状态的数量。在这封信中，我们提出了一个最大熵原理来描述网络状态的系统与异构，一般相关，连接模式和非平凡的动态。我们专注于三个不同的聚结过程，广泛遇到的经验相互关联的系统的分析，并在不同的时间尺度不同的动力学制度之间的熵和过渡的特点。我们的框架允许人们研究聚合系统的统计物理学，例如在服务于同一地理区域的交通基础设施中，或者相关的，例如在社会互动的生物体中产生的脑间同步，以及群集或同步的活性物质。
2022-12-05 cond-mat.stat-mech cs.IT math.IT
Transfer-Entropy-Regularized Markov Decision Processes
考虑转移熵正则化的马尔可夫决策过程（TERMDP）框架，其中经典状态相关成本与从状态随机过程到控制随机过程的转移熵的加权和最小化。虽然TERMDP一般被制定为非凸的最优化问题，我们推导出一个解析的必要最优性条件表示为一个有限集的非线性方程，基于此迭代的向前向后的计算过程类似的Arimoto-Blahut算法。结果表明，该算法产生的序列的每一个极限点都是TERMDP的平稳点。在网络控制系统理论和非平衡态热力学的背景下讨论了TERMDP的应用。所提出的算法被应用到一个信息约束的迷宫导航问题，从而我们研究如何定性地改变信息的价格的最优决策polices。
2020-05-27 cs.IT math.IT math.OC
Statistical Properties of the Entropy from Ordinal Patterns
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；Victoria University of Wellington（惠灵顿维多利亚大学）；Instituto Tecnológico de Buenos Aires（布宜诺斯艾利斯技术研究所）；Universidad Nacional de Tres de Febrero（二月三日国立大学）；Universidad Nacional del Nordeste（东北国立大学）；CONICET（阿根廷国家科学与技术研究理事会）；Universidad Tecnológica Nacional（国立技术大学）
有序模式的统计分析的最终目的是表征它们所诱导的特征的分布。特别是，知道一大类时间序列模型的熵-统计复杂性对的联合分布将允许迄今为止不可用的统计测试。在这个方向上工作，我们描述的渐近分布的经验香农熵的任何模型下，真正的归一化熵既不为零，也不为一。我们从中心极限定理（假设大的时间序列），多元Delta方法，和三阶修正其平均值得到的渐近分布。我们讨论了其他结果（精确，第一，和第二阶校正）的适用性，其准确性和数值稳定性。在一个一般的框架内建立测试统计香农熵，我们提出了一个双边测试，验证是否有足够的证据来拒绝假设，两个信号产生相同的香农熵的顺序模式。我们应用这种双边测试的每日最高温度的时间序列从三个城市（都柏林，爱丁堡和迈阿密），并获得了合理的结果。
2022-09-15 cs.IT cs.LG cs.NA
Transfer entropy in continuous time, with applications to jump and neural spiking processes
在许多复杂系统中，传递熵已被用来量化源变量和目标变量之间的定向信息流。虽然转移熵最初是在离散时间中制定的，但本文我们基于完整路径实现度量之间的Radon-Nikodym导数，提供了一个考虑连续时间系统中转移熵的框架。为了描述单个路径实现的信息动力学，我们引入了路径转移熵，其期望值是在有限时间间隔内累积的转移熵。我们证明，这种形式主义允许瞬时转移熵率。这些性质类似于沿着路径定义的物理量的行为，例如功和热。我们使用这种方法来产生一个明确的形式为纯跳跃过程的传递熵，并强调在特定情况下的点过程（经常在神经科学中使用的模型神经尖峰列车）的简化形式。最后，我们提出了两个合成尖峰神经元模型的例子来展示我们的形式主义的相关功能，即，点过程的信息流由不连续的跳跃贡献（在目标尖峰）中断连续变化的贡献（有关目标尖峰之间的等待时间）。数值方案的基础上，我们的形式主义承诺显着的好处，现有的战略的基础上离散时间形式主义。
2017-04-01 cs.IT math.IT nlin.AO
Inference, Prediction, and Entropy-Rate Estimation of Continuous-time, Discrete-event Processes
W. M. Keck Science Department of Pitzer, Scripps, and Claremont McKenna College（皮泽学院、斯克里普斯学院和克莱蒙特·麦肯纳学院W.M.凯克科学系）；University of California at Davis（加州大学戴维斯分校）
推断模型，预测未来，估计离散时间的熵率，离散事件过程是很好的基础。然而，一类更广泛的离散事件过程在连续时间中运行。在这里，我们提供了新的方法来推断，预测和估计它们。该方法依赖于扩展的贝叶斯结构推理，利用神经网络的通用逼近能力。基于复杂的合成数据的实验，该方法具有竞争力的国家的最先进的预测和熵率估计。
2020-05-07 cond-mat.stat-mech cs.IT cs.LG
Transfer Entropy and Directed Information in Gaussian diffusion processes
传递熵和有向信息是随机过程之间方向依赖性的信息论度量。根据Schreiber和Massey在离散时间中的定义，我们定义并评估了多维高斯扩散过程分量的这些测度。当组件联合马尔可夫，转移熵和有向信息都是影响的措施，根据一个简单的物理原理。更一般地，必须考虑其他组件的影响，并且这可以以多种方式实现。我们提出了两个定义，其中之一保留了联合马尔可夫情况下的影响的属性。转移熵和有向信息用矩阵Riccati方程的解表示，便于计算。我们提出的连续时间有向信息的定义不同于以前出现在文献中。我们认为，后者不是严格的方向。
2016-04-07 cs.IT math-ph math.IT
Dictionary Based Pattern Entropy for Causal Direction Discovery
Department of Computer Science and Information Systems（计算机科学与信息系统系）；BITS Pilani K K Birla Goa Campus（比斯潘尼学院K K Birla Goa校区）；Complex Systems Programme（复杂系统计划）；National Institute of Advanced Studies（国家高级研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文提出基于字典的模式熵方法，用于从时间序列数据中发现因果方向，通过整合算法信息理论和香农信息理论，实现对因果关系的稳健识别和模式驱动的组织分析。
2026-03-04 cs.IT cs.LG math.IT
Shannon Entropy Rate of Hidden Markov Processes
隐马尔可夫链是随机过程的广泛应用的统计模型，从基础物理和化学到金融，健康和人工智能。然而，即使链是有限状态，它们产生的隐马尔可夫过程也是非常复杂的：它们的香农熵率不存在有限表达式，因为它们的预测特征集一般是无限的。因此，到目前为止，人们不能对它们的随机性和结构性做出一般性的陈述。在这里，我们通过展示如何有效和准确地计算它们的熵率来解决这一挑战的第一部分。我们还展示了这种方法如何给出无限预测特征的最小集合。续集解决了挑战的第二部分结构。
2020-08-29 cond-mat.stat-mech cs.IT math.DS
NPD Entropy: A Non-Parametric Differential Entropy Rate Estimator
平稳离散值随机过程的熵率估计是信息论中的一个重要研究课题。然而，估计平稳连续值随机过程的熵率并没有得到太多的关注。事实上，许多现有技术不能准确地估计或计算强相关过程的微分熵率的复杂度，例如分数高斯噪声和ARFIMA（0，d，0）。甚至有些人甚至不能检测到熵率的趋势，例如，当它增加/减少时，最大或渐近趋势，作为其Hurst参数的函数。然而，最近开发的技术以高计算成本提供准确的估计。在本文中，我们定义了一个强大的技术，非参数估计的微分熵率的连续值随机过程的观测数据，通过显式的联系之间的微分熵率和香农熵率的量化版本的原始数据。估计由香农熵速率估计器执行，然后转换为差分熵速率估计。我们表明，这种技术继承了许多重要的统计特性从香农熵率估计。对于强相关过程，该估计器能够提供比定义的相对度量更好的估计，并且比已知的绝对度量更快的估计。最后，我们分析了估计技术的复杂性，并测试了对非平稳性的鲁棒性，并表明目前的技术都不对非平稳性具有鲁棒性，即使它们对强相关性具有鲁棒性。
2021-05-24 cs.IT math.IT math.ST
A Development of Continuous-Time Transfer Entropy
转移熵（TE）是由Schreiber在2000年引入的，作为一个随机过程相对于另一个随机过程的预测能力的度量。最初表示为离散时间过程，我们扩展的理论与最近的工作Spinney，Prokopenko，和Lizier定义TE随机过程索引在一个紧凑的区间值在波兰状态空间。我们使用Radon-Nikodym定理、随机测度和概率空间的投射极限给出了连续时间TE的定义。作为我们的主要结果，我们提供了充要条件，充分条件，以获得这个定义作为一个极限的离散时间TE，以及说明其应用通过一个例子，涉及泊松点过程。作为连续时间TE的衍生物，我们还定义了两个过程之间的转移熵率，并表明（在温和的假设下）它们的平稳性意味着一个常数。我们还研究了齐次马尔可夫跳过程之间的TE，并讨论了一些开放的问题和可能的未来方向。
2019-07-01 cs.IT math.IT math.PR
How Hidden are Hidden Processes? A Primer on Crypticity and Entropy Convergence
我们利用计算力学的因果状态来研究一个平稳过程的秘密性-一个衡量它的隐藏状态信息和它的观测信息之间差异的度量。在这里，我们激励的神秘性和神秘的顺序作为物理上有意义的数量，监测如何隐藏隐藏的过程。这是通过重铸以前的结果块熵和块状态熵的收敛在几何设置，一个更直观，并导致一些新的结果。例如，我们将神秘性与观察者如何观察一个过程联系起来。我们表明，块因果状态熵是块长度的凸函数。我们给出了自旋链的完整分析。我们提出了一个分类方案，调查平稳过程中可能的神秘和马尔可夫顺序。我们说明相关的熵收敛行为，使用一种新形式的叶状信息图。最后，在此过程中，我们提供了各种解释的神秘性和神秘秩序，以建立他们的自然性和普遍性。希望这些将激发空间扩展和网络动力系统的新应用。
2011-08-06 cond-mat.stat-mech cs.IT math.DS
