arXiv 0711.21022007-11-14cs.ITmath.IT

i.i.d.的模式。序列及其熵--II：某些分布的界

Patterns of i.i.d. Sequences and Their Entropy - Part II: Bounds for Some Distributions

Gil I. Shamir

摘要：

序列的模式是整数索引的序列，其中每个索引描述原始序列中相应符号的第一次出现的顺序。在最近的一篇论文中，严格的一般界的模式产生的序列的块熵的独立同分布（i.i.d.）来源派生。本文对独立同分布生成的序列模式的模式块熵提供了精确的近似。均匀分布和单调分布，包括整数分布和几何分布。这些分布的模式块熵的数值界限，即使是非常短的块。即使对于具有无限i.i.d.的分布，也得到了紧界。熵率使用一般的界限和他们的推导技巧的近似。条件指数熵分布在较小的字母表也进行了研究。

英文摘要：

A pattern of a sequence is a sequence of integer indices with each index describing the order of first occurrence of the respective symbol in the original sequence. In a recent paper, tight general bounds on the block entropy of patterns of sequences generated by independent and identically distributed (i.i.d.) sources were derived. In this paper, precise approximations are provided for the pattern block entropies for patterns of sequences generated by i.i.d. uniform and monotonic distributions, including distributions over the integers, and the geometric distribution. Numerical bounds on the pattern block entropies of these distributions are provided even for very short blocks. Tight bounds are obtained even for distributions that have infinite i.i.d. entropy rates. The approximations are obtained using general bounds and their derivation techniques. Conditional index entropy is also studied for distributions over smaller alphabets.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

关于模式过程的熵率

On the Entropy Rate of Pattern Processes

研究了随机过程模式序列的熵率，以及它与原过程熵率的关系。我们给出了一个完整的表征这种关系的i.i.d.随机字母表上的平稳遍历过程，离散字母表上的平稳遍历过程，以及不可数字母表上的平稳遍历过程的广泛家族。对于模式过程的熵率为无穷大的情况，我们刻画了块熵的可能增长率。

2006-02-17cs.ITmath.IT

i.i.d.的模式。序列及其熵-第一部分：一般界

Patterns of i.i.d. Sequences and Their Entropy - Part I: General Bounds

独立同分布（i.i.d.）来源是派生的。序列的模式是整数索引的序列，其中每个索引表示原始序列中相应符号的第一次出现的顺序。由于模式是对原始序列进行数据处理的结果，因此其熵不能更大。这里导出的边界描述了作为原始i.i.d.的函数的模式熵。源熵、字母表大小、符号概率以及它们在概率空间中的排列。匹配的上限和下限导出提供了一个有用的工具，非常准确的近似模式块熵的各种分布，并评估减少的模式熵从原来的i.i.d.顺序

2007-11-14cs.ITmath.IT

I.I.D.模式熵的界序列

Bounds on the Entropy of Patterns of I.I.D. Sequences

独立同分布（i.i.d.）来源是派生的。模式是一个索引序列，它包含所有连续的整数索引，这些索引按第一次出现的递增顺序排列。如果生成序列的源的字母表是未知的，则可以利用对未知字母表符号进行编码的不可避免的成本来创建序列的模式。这种模式本身又可以被压缩。这里导出的边界是i.i.d.的函数。源熵、字母大小和字母概率。它表明，对于大的字母，模式熵必须从i.i.d.一个.在许多情况下，减少是更显着的比通用的编码冗余界限在以前的作品。模式熵被限制在两个界限之间，这两个界限取决于字母概率在概率空间中的排列。对于其大小可能大于编码模式长度的非常大的字母，所有低概率字母被打包到一个符号中。模式熵是上界和下界的独立同分布。新压缩字母表的熵。校正项，这通常是可以忽略不计的，提供了上限和下限。

2005-04-13cs.ITmath.IT

从组合视角看有限模式的信息量与熵

Information Content and Entropy of Finite Patterns from a Combinatorial Perspective

该研究从组合视角提出有限模式信息量与熵的统一组合定义，推导信息量通用性质，给出基于压缩算法和Kolmogorov复杂度的归一化信息估计方法，重新定义的熵渐近兼容传统熵，突破香农信息的适用局限。

2025-01-18cs.DMcs.ITmath.IT

环形振荡器抖动的熵和比特模式

On Entropy and Bit Patterns of Ring Oscillator Jitter

来自自激环形振荡器的热抖动（相位噪声）是真随机数发生器（TRNG）中常见的、易于实现的物理随机性源。我们将展示如何评估环形振荡器噪声源的熵，自相关和位模式分布，即使是低抖动水平或一些偏见。NIST 800- 90 B和AIS-31测试以及RISC-V熵源扩展等应用都需要熵调整。我们的数值评估算法在速度和准确性方面优于Monte Carlo模拟。我们还提出了一个新的下界估计公式的熵的环形振荡器源，适用于更普遍的比以前的。

2021-10-12cs.CRcs.ITeess.SP

受信息论启发的时间序列数据模式分析

Information Theory Inspired Pattern Analysis for Time-series Data

Imperial College London（帝国理工学院）；The UK Dementia Research Institute（英国痴呆症研究所）；University of York（约克大学）；University College London（伦敦大学学院）

针对现有时间序列模式分析方法泛化性差的问题，提出基于信息论特征的高泛化性方法，在人类活动数据上验证显示其性能提升显著且模型参数量大幅减少。

2023-04-28cs.AIcs.ITmath.IT

更多相关论文收起更多论文

Voronoi-Markov链与空间熵用于点模式分析

Voronoi-Markov chain and spatial entropy for point pattern analysis

Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）；DigITs AI/ML Solutions（DigITs AI/ML 解决方案）

本文提出基于Voronoi盆地和马尔可夫链的稠密盆地熵，用于点模式分析，可敏感检测聚类，并在组织病理学中提供互补于传统熵的判别度量。

2026-09-30cs.ITmath.IT

游程编码序列的Rényi熵和模式匹配

Rényi entropy and pattern matching for run-length encoded sequences

本文研究了游程编码序列的最长公共子串长度的渐近性质。当原始序列是由具有指数衰减的$α$ -混合过程（或具有多项式衰减的$ψ$ -混合过程）生成时，我们证明了该长度随依赖于前推测度的Rényi熵的系数而几何地增长。对于Bernoulli过程和马尔可夫链，这个系数是显式计算的。

2020-12-11cs.ITmath.DSmath.IT

基于幅度和频率的色散模式和熵

Amplitude- and Frequency-based Dispersion Patterns and Entropy

基于排列模式的方法，如排列熵（PerEn），已被广泛和成功地用于分析数据。然而，这些方法具有两个主要缺点。首先，当基于排列模式对序列进行符号化时，重复作为数据中不可避免的现象未被考虑在内。其次，它们只考虑幅度值的顺序，因此，关于幅度值本身的一些信息可能被忽略。为了解决这些缺陷，我们最近引入了色散模式，随后引入了色散熵（DispEn）。在本文中，我们研究了不同的线性和非线性映射方法，用于算法的DispEn，对信号的表征的效果。我们还检查了不同参数的DispEn噪声的敏感性。此外，我们引入基于频率的DispEn（FDispEn）作为一种措施，以处理只有频率的时间序列。结果表明，与PerEn不同，具有对数S形映射方法的DispEn和FDispEn可以检测离群值。此外，原始和基于频率的禁止色散模式被引入到区分确定性和随机时间序列。计算时间表明，DispEn和FDispEn比PerEn快得多。最后，我们发现，DispEn和FDispEn优于PerEn区分各种动态的生物医学信号。由于其优于现有的熵方法，DispEn和FDispEn预计将被广泛用于各种各样的真实世界的时间序列的表征。

2017-08-03cs.ITmath.ITphysics.data-an

排列熵用于信号分析

Permutation Entropy for Signal Analysis

本文介绍排列熵这一熵变体，用于在噪声环境中研究和分类射频信号，因其与幅度无关而能比较不同尺度信号，并包含实证分析与分类结果。

2024-07-18cs.DMcs.ITmath.IT

有序模式熵的统计性质

Statistical Properties of the Entropy from Ordinal Patterns

Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；Victoria University of Wellington（惠灵顿维多利亚大学）；Instituto Tecnológico de Buenos Aires（布宜诺斯艾利斯技术研究所）；Universidad Nacional de Tres de Febrero（二月三日国立大学）；Universidad Nacional del Nordeste（东北国立大学）；CONICET（阿根廷国家科学与技术研究理事会）；Universidad Tecnológica Nacional（国立技术大学）

有序模式的统计分析的最终目的是表征它们所诱导的特征的分布。特别是，知道一大类时间序列模型的熵-统计复杂性对的联合分布将允许迄今为止不可用的统计测试。在这个方向上工作，我们描述的渐近分布的经验香农熵的任何模型下，真正的归一化熵既不为零，也不为一。我们从中心极限定理（假设大的时间序列），多元Delta方法，和三阶修正其平均值得到的渐近分布。我们讨论了其他结果（精确，第一，和第二阶校正）的适用性，其准确性和数值稳定性。在一个一般的框架内建立测试统计香农熵，我们提出了一个双边测试，验证是否有足够的证据来拒绝假设，两个信号产生相同的香农熵的顺序模式。我们应用这种双边测试的每日最高温度的时间序列从三个城市（都柏林，爱丁堡和迈阿密），并获得了合理的结果。

2022-09-15cs.ITcs.LGcs.NA

基于字典的模式熵用于因果方向发现

Dictionary Based Pattern Entropy for Causal Direction Discovery

Department of Computer Science and Information Systems（计算机科学与信息系统系）；BITS Pilani K K Birla Goa Campus（比斯潘尼学院K K Birla Goa校区）；Complex Systems Programme（复杂系统计划）；National Institute of Advanced Studies（国家高级研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）

本文提出基于字典的模式熵方法，用于从时间序列数据中发现因果方向，通过整合算法信息理论和香农信息理论，实现对因果关系的稳健识别和模式驱动的组织分析。

2026-03-04cs.ITcs.LGmath.IT

基于最大熵随机游走的Ising类模型的近似精确解

Nearly accurate solutions for Ising-like models using Maximal Entropy Random Walk

虽然一维马尔可夫过程是很好的理解，去更高的维度只有几个解析解决伊辛类模型，在实践中需要使用相对昂贵，不可控和不准确的蒙特卡洛方法。讨论了用于例如晶格的$width\times \infty$近似的分析方法，还利用Hammersley-Clifford定理通过使用局部统计模型逐行扫描来生成随机吉布斯/马尔可夫场，如在无损图像压缩中那样。虽然它的条件分布可以用蒙特卡罗方法找到，但讨论了使用最大熵随机游走（MERW）来计算它们，从晶格近似为在一个方向上无限而在其余方向上有限。具体地说，在有限方向上建立所有模式的字母表，然后建立包含所有模式对的能量的转移矩阵，由其主特征向量得到模式对的概率分布为它们的无限序列的玻尔兹曼分布，这可以转化为逐行扫描的局部统计模型。这种廉价的模型需要在膝上型计算机上花费数秒来进行附加实现并直接提供模式的概率分布，针对每个节点的平均熵和能量进行测试，从临界点附近的分析解获得最大$\approx 0.02$误差，其快速改进为极其准确的，例如$J\approx 0.2$的$\approx 10^{-10}$误差。

2021-04-19cond-mat.stat-mechcs.ITmath.IT

高阶模式揭示复杂系统的因果时间尺度

Higher-Order Patterns Reveal Causal Timescales of Complex Systems

时间网络的分析在很大程度上依赖于时间路径的分析。然而，在能够建模和分析时间相关路径之前，我们必须推断时间边缘相互影响的时间尺度。在这项工作中，我们引入了时间路径熵，时间网络的信息理论测量，目的是检测时间尺度的因果关系的影响发生在时间网络。该度量可以作为一个整体用于时态网络，也可以单独用于每个节点。我们发现，时间路径熵的因果时标的合成和经验的时间网络有一个非平凡的依赖。此外，我们注意到在合成和经验数据中，时间路径熵往往在对应于因果相互作用的时间尺度上减小。我们的研究结果意味着，时间尺度相关的复杂系统的动态可以检测到在时间网络本身，通过测量时间路径熵。这对于分析内在时间尺度不可用且难以测量的时间网络至关重要。

2023-01-27cs.ITcs.SImath.IT