Multiscale Entropy Analysis: A New Method to Detect Determinism in a Time Series
在这封信中，我们表明，多尺度熵（MSE）分析可以检测时间序列中的决定性。
2006-04-05 physics.data-an
On the entropy production of time series with unidirectional linearity
有非高斯时间序列，承认因果线性自回归移动平均（ARMA）模型时，回归过去的未来，但不是当回归过去的未来。原因是，在后一种情况下，回归残差只是不相关，但在统计上与未来无关。在以前的工作中，我们已经通过实验验证了许多经验时间序列确实表现出这样的时间反演不对称性。对于各种物理系统，时间反演不对称性与非平衡态的热力学熵产生有关。在这里，我们表明，这样的链接也存在上述单向线性。我们研究了与无限环境线性耦合的物理玩具系统的动力学演化，并表明动力学的线性性遗传给向前时间条件概率，但不遗传给向后时间条件概率。过去和未来之间这种不对称的原因是，环境永久地提供了在与系统相互作用之前处于产物状态的粒子，但之后显示出统计依赖性。从粗粒度的角度来看，相互作用因此产生熵。我们定量地将后向条件的非线性强度与熵产生的最小量联系起来。
2009-08-13 cond-mat.stat-mech physics.data-an
Increment entropy as a measure of complexity for time series
熵是一种常用的量化时间序列复杂性的指标。在这里，我们引入增量熵来度量时间序列的复杂性，其中每个增量被映射到一个两个字母的单词，一个字母对应于方向，另一个对应于大小。单词的香农熵被称为增量熵（IncrEn）。对合成数据的模拟和对癫痫EEG信号的测试已经证明了其检测突变的能力，而不管能量（例如尖峰或突发）或结构变化。IncrEn的计算不对时间序列做任何假设，它可以适用于任意真实世界的数据。
2015-02-26 physics.data-an
Causality and the Entropy-Complexity Plane: Robustness and Missing Ordinal Patterns
我们在这里处理时间序列中的决定论与随机性的问题。人们希望确定它们在给定时间序列中的相对权重。在文献中已经提出了两种不同的工具来达到这种效果，即，i）“因果”熵-复杂性平面[Rosso等人，Phys. Rev. Lett. 99（2007）154102]和ii）缺失有序模式的衰减率的估计[Amigó等人，Europhys. Lett. 79（2007）50001和Carpi等人Physica A 389（2010）2020-2029]。在这项工作中，我们扩展使用这些技术，以解决污染的加性噪声的不同程度的相关性的确定性有限时间序列的分析。这里研究的混沌序列是通过Logistic映射（r = 4），我们添加了相关噪声（有色噪声与f-k功率谱，0 { \leq } k { \leq } 2）的变化幅度。以这种方式，可以获得与原始时间序列的确定性组成部分有关的重要见解。我们发现，在熵复杂度平面，这个目标可以实现，而无需额外的计算。
2011-05-23 cond-mat.stat-mech physics.data-an
Maximum Entropy, Time Series and Statistical Inference
简要讨论了传统版本的最大熵方法，包括审查的一些批评，已在统计推断方面使用。出于这些问题，提出了一个修改后的版本的方法，并应用到一个简单的问题，证明其在推理中的使用。
2007-09-10 physics.data-an
Comparing entropy with tests for randomness as a measure of complexity in time series
熵测度作为评价时间序列数据分析复杂性的一种度量标准，在生理学和医学领域中越来越受到重视。熵测量信息增益的速率，或时间序列（例如心跳）中的规律性程度。理想情况下，熵应该能够量化序列中任何潜在结构的复杂性，以及确定变化是否来自随机过程。不幸的是，目前的熵测量大多无法执行后一种区分。因此，高熵分数指示随机或混沌序列，而低分数指示高度规律性。这导致了这样的观察，即当前熵度量等价于评估序列的随机性，或者相反，评估时间序列的规律性程度。这提高了现有的随机性测试的可能性，例如游程测试或排列测试，在诊断某些条件时可能具有类似的实用性。本文比较了各种测试的随机性与现有的基于熵的测量，如样本熵，排列熵和多尺度熵。我们的实验结果表明，游程检验和排列检验的检验统计量往往与熵值高度相关，并可能能够提供有关时间序列复杂性的进一步信息。
2015-12-02 physics.data-an stat.ME
Singular Value Decomposition and Entropy Dimension of Fractals
分析了由Kronecker积产生的Cantor分形的奇异值分解和奇异值熵。我们的主要结果表明，SVD熵是图像“复杂度维数”的度量，它在克罗内克积自迭代次数下是不变的（即，分形阶）。因此，SVD熵类似于分形Hausdorff复杂性维数，但适用于表征分形波现象。我们基于场的归一化（Renyi熵指数= 1）说明了不寻常的阶梯形和集群模式的分形奇异值和SVD熵的分布。作为复杂性的模态度量，SVD熵用于各种无线通信、自由空间光学和遥感应用。
2022-11-15 cond-mat.stat-mech eess.SP physics.data-an
Characterizing Multi-Scale Self-Similar Behavior and Non-Statistical Properties of Financial Time Series
本文利用小波变换研究了不同经济部门的大公司股票价格的多尺度、自相似行为及其偏差。股票市场收益率具有多重分形特征，部分公司在小尺度和大尺度上表现出偏离。事实上，小波属于Daubechies'（Db）的基础，使人们能够隔离不同程度的局部多项式趋势，在隔离不同尺度的波动起着关键作用。这项工作的主要动机之一是研究$k^{-3}$行为的出现\cite{hes5}的波动开始与高频波动。为了研究这些金融时间序列的统计特征，我们分别利用Db 4和Db 6基组在不同尺度上分离出局部线性和二次趋势。波动揭示了肥尾非高斯行为，不稳定的周期性调制，在更精细的尺度，从特征$k^{-3}$幂律行为出现在足够大的尺度。我们进一步确定稳定的周期性行为，通过连续Morlet小波。
2010-12-31 physics.data-an q-fin.ST
Wavelet entropy and fractional Brownian motion time series
本文研究了分数阶布朗运动（fBm）时间序列的Hurst参数与归一化小波全熵之间的函数联系。这两个量词主要用于识别分数布朗运动过程（Fractals 12（2004）223）。这项工作的目的是了解从他们那里获得的信息的差异，如果有的话。
2005-01-19 physics.ao-ph physics.data-an
Transcript-based estimators for characterizing interactions
University of Bonn Medical Centre（波恩大学医学中心）；Helmholtz Institute for Radiation and Nuclear Physics, University of Bonn（波恩大学赫尔霍兹辐射与核物理研究所）；Interdisciplinary Center for Complex Systems, University of Bonn（波恩大学复杂系统交叉研究中心）
本文提出基于转录的估计器，用于研究不同复杂度的耦合动态系统之间的相互作用，并通过人类脑动态记录展示其在揭示不同清醒状态下复杂空间-时间相互作用方面的潜力。
2025-12-09 nlin.CD physics.data-an
Minimum Entropy Density Method for the Time Series Analysis
熵密度是研究物理系统中复杂非线性过程的一个直观而有力的概念。我们发展了最小熵密度方法（MEDM）来检测一个给定的时间序列的结构规模，它被定义为规模的不确定性是最小的，因此模式被揭示最多。本文将MEDM方法应用于1983年2月至2006年4月标准普尔500指数的金融时间序列。在此基础上，分析了信息传递时间和有效市场假说对结构规模的影响。
2006-11-14 physics.data-an q-fin.ST
Statistical inference of lead-lag at various timescales between asynchronous time series from p-values of transfer entropy
符号传递熵是检测时间序列之间超前-滞后关系的一种强有力的非参数工具。由于传递熵分布的封闭表达式对于有限大小的样本是未知的，统计测试通常使用引导程序来执行，其缓慢性阻止了长时间序列之间的大超前滞后网络的推断。另一方面，两个时间序列之间的传递熵的渐近分布是已知的。在这项工作中，我们得到的渐近分布的测试一个时间序列具有较大的转移熵比另一个目标时间序列。然后，我们测量收敛速度的两个测试在小样本量限制通过基准。然后，我们引入时移时间序列之间的传递熵，它允许测量信息传递最大和消失的时间尺度。最后，我们将这些方法应用于数百只股票的逐点价格变化，产生非平凡的统计验证网络。
2022-06-21 math.ST physics.data-an q-fin.ST
ordpy: A Python package for data analysis with permutation entropy and ordinal network methods
自从Bandt和Pompe的开创性工作以来，排列熵已经被用于几个应用中，现在是时间序列分析的重要工具。除了成为一种流行和成功的技术之外，排列熵还启发了将时间序列映射到符号序列的框架，引发了许多其他工具的发展，包括从时间序列创建网络的方法，称为有序网络。尽管越来越受欢迎，这些方法的计算开发是分散的，仍然没有努力集中在创建一个统一的软件包。在这里，我们介绍了ordpy，一个简单的开源Python模块，它实现了排列熵以及与Bandt和Pompe的框架相关的几种主要方法，用于分析时间序列和二维数据。特别是，ordpy实现了排列熵，Tsallis和Rényi排列熵，复杂性熵平面，复杂性熵曲线，丢失顺序模式，顺序网络，一维（时间序列）和二维（图像）数据的丢失顺序转换以及它们的多尺度推广。我们回顾了这些工具的一些理论方面，并通过复制几个文献结果来说明ordpy的使用。
2021-06-09 physics.data-an
WISDoM: characterizing neurological timeseries with the Wishart distribution
智慧（Wishart Distributed Matrices）是一个新的框架，用于量化与实验样本相关的对称正定矩阵（如协方差或相关矩阵）与由Wishart分布控制的预期矩阵的偏差WISDoM可以应用于监督学习的任务，如分类，特别是当这种矩阵由不同维度的数据生成时（例如，具有相同数量的变量但不同时间采样的时间序列）。我们展示了该方法在两种不同情况下的应用。首先是与脑电图（EEG）数据的时间序列设计相关的功能的排名，提供了一个理论上健全的方法，这类研究。第二个是使用大脑连接测量对ABIDE研究中的自闭症受试者进行分类。
2020-09-30 physics.data-an stat.ML
Complexity of Financial Time Series: Multifractal and Multiscale Entropy Analyses
本研究运用MF-DFA和RCMSE方法对比分析比特币、外汇、黄金和天然气的价格时间序列复杂性，发现比特币复杂度最高，或与其对数收益率的强非线性相关，为市场风险与可预测性研究提供参考。
2025-07-31 physics.data-an q-fin.ST
A generalized permutation entropy for random processes
排列熵通过由称为有序模式或排列的秩向量组成的数据符号量化来度量确定性时间序列的复杂性。这种熵在时间序列分析中越来越受欢迎的原因包括：（i）它在更长排列的限制下收敛于潜在动力学的Kolmogorov-Sinai熵，以及（ii）它的计算无需生成和特别分区。然而，当允许的排列的数量随着它们的长度超指数增长时，排列熵发散，就像通常由随机过程输出的时间序列一样。在这封信中，我们提出了一个广义置换熵是有限的随机过程，包括离散时间动态系统的观测或动态噪声。
2020-03-30 physics.data-an
Improving predictability of time series using maximum entropy methods
我们讨论了如何最大熵方法可能适用于重建马尔可夫过程的经验时间序列，并比较这种方法通常的频率采样。它示出，至少在低维，存在一个子集的随机矩阵的空间的MaxEnt方法是更有效的比采样，在这个意义上，较短的历史样本必须被认为是达到相同的精度。考虑短样本是特别感兴趣的平滑非平稳过程建模时，然后它提供了，在某些条件下，一个强大的预测工具。该方法被示出为一个离散的经验系列的汇率。
2014-11-28 nlin.CD physics.data-an q-fin.RM
Entropy of Difference
在这里，我们提出了一种新的工具来估计时间序列的复杂性：差异熵（ED）。该方法仅基于时间序列中相邻值之间的差异的符号。这使得可以像先前提出的参数（诸如排列熵（PE）或修改的排列熵（mPE））那样有效地描述信号，但是（1）减小了估计参数值所需的样本的大小，以及（2）使得能够使用Kullback-Leibler发散来估计时间序列数据和随机信号之间的距离。
2014-11-04 nlin.CD physics.data-an
Dynamics of EEG Entropy: beyond signal plus noise
采用扩散熵方法对脑电时间序列进行分析。由此产生的EEG熵表现出短时间的缩放，渐近饱和和衰减的α-节律调制。这些属性是忠实地模拟了一个现象学朗之万方程解释内的神经网络上下文。去趋势波动分析的EEG数据进行比较，扩散熵分析，并发现抑制EEG时间序列的某些重要属性。
2009-02-06 physics.data-an
Discriminating chaotic and stochastic time series using permutation entropy and artificial neural networks
从非线性、随机、高维系统产生的经验信号中提取相关特性是复杂系统研究的一个挑战。开放的问题是如何区分混沌信号随机的，以及如何量化非线性和/或高阶时间相关性。在这里，我们提出了一种新的技术来可靠地解决这两个问题。我们的方法如下两个步骤：首先，我们训练一个人工神经网络（ANN）与闪烁（有色）噪声预测值的参数，$α$，确定强度的相关性的噪声。为了预测$α$，ANN输入特征是通过使用符号序数分析从时间序列中提取的一组概率。然后，我们将从感兴趣的时间序列中提取的概率输入到训练好的ANN中，并分析ANN的输出。我们发现，人工神经网络返回的$α$值是信息的时间序列中存在的时间相关性。为了区分随机和混沌信号，我们利用的事实，即一个给定的时间序列的排列熵（PE）和闪烁噪声的PE具有相同的$α$参数是小的时间序列是随机的，但它是大的时间序列是混沌的。我们验证我们的技术，通过分析合成和经验的时间序列，其性质是既定的。我们还证明了我们的方法相对于时间序列的长度和噪声水平的鲁棒性。我们希望我们的算法，这是免费提供的，将是非常有用的社会。
2021-07-06 physics.data-an
A noise-robust Multivariate Multiscale Permutation Entropy for two-phase flow characterisation
使用基于图的方法，我们提出了一个多尺度排列熵，探讨多个时间尺度上的多变量时间序列的复杂性。这种多变量多尺度排列熵（MPEG）通过为每个粗粒度时间序列构建一个底层图，然后将最近的排列熵应用于图信号，从而结合了通道之间的相互作用。考虑到噪声在实际数据分析中所带来的挑战，我们使用合成时间序列研究了MPEG对噪声的鲁棒性，并展示了比类似的多元熵度量更好的性能。两相流数据是一个重要的工业过程，其特征是复杂的动态行为。MPEG通过融合不同尺度的信息来表征两相流的流动行为转变。实验结果表明，MPEG是敏感的动态的流模式，使我们能够区分不同的流模式。
2022-10-14 math.CO physics.data-an
Causal inference in time series in terms of Rényi transfer entropy
从观测数据中发现因果相关性是非线性时间序列分析的最大挑战之一。在本文中，我们讨论了这个问题的帮助下，信息理论的概念称为雷尼信息测度。特别是，我们解决了二元时间序列之间的方向性信息流的Rényi转移熵。我们表明，通过适当地选择雷尼$α$参数，我们可以控制信息，只在选定的部分之间的基础分布。这反过来又为量化时间序列中的因果相互依存关系提供了特别有力的工具，其中对“黑天鹅”事件（如尖峰或突然跳跃）的了解至关重要。在这方面，我们首先证明了对于高斯变量，格兰杰因果关系和雷尼转移熵是完全等价的。此外，我们还将此结果部分推广到重尾$α$ -高斯变量。这些结果允许建立自回归和雷尼熵基于信息理论的方法之间的联系，以数据驱动的因果推理。为了帮助我们的直觉，我们采用Leonenko等人。熵估计和分析Rényi信息流之间的二维时间序列产生的两个单向耦合的罗斯勒系统。值得注意的是，我们发现，雷尼转移熵不仅使我们能够检测到的同步阈值，但它也提供了一个非平凡的洞察到一个瞬态制度的结构之间存在的区域的混沌相关性和同步阈值。此外，从雷尼转移熵我们可以可靠地推断耦合的方向--从而推断因果关系，只有当耦合强度小于瞬态状态的起始值时，即当两个罗斯勒系统耦合，但还没有进入同步时。
2022-03-22 cs.IT math-ph math.IT
Entropy analysis of word-length series of natural language texts: Effects of text language and genre
University of Athens（雅典大学）；NCSR Demokritos（德谟克利特国家科学研究中心）；Institute for Language and Speech Processing（语言与言语处理研究所）
我们估计了自然语言文本在字长表示中的$n$ -gram熵，发现这些熵对文本语言和体裁敏感。我们将这种敏感性归因于单个单词长度的概率分布的变化，并强调单词长度在5到10之间的概率的均匀性的关键作用。此外，与混洗数据的熵的比较揭示了估计的$n$ -gram熵的字长相关性的影响。
2014-01-17 cs.CL physics.data-an
Inferring network properties from time series using transfer entropy and mutual information: validation of multivariate versus bivariate approaches
从时间序列中推断出的功能性和有效性网络是网络神经科学的核心。解释它们的性质需要推断的网络模型来反映关键的潜在结构特征;然而，即使是一些虚假的链接也会扭曲网络测量，挑战功能连接体。我们研究了在何种程度上可以推断的基础网络的微观和宏观性质的算法的基础上互信息和二元/多元传递熵。验证是在两个猕猴连接体和具有各种拓扑结构的合成网络（规则格，小世界，随机，无标度，模块化）上进行的。模拟是基于神经质量模型和自回归动力学（采用高斯估计直接比较功能连接和格兰杰因果关系）。我们发现，多变量传递熵捕获的关键属性的所有网络较长的时间序列。双变量方法可以在较短的时间序列中实现较高的召回率（灵敏度），但随着可用数据的增加，无法控制假阳性（较低的特异性）。这会导致高估集群、小世界和富俱乐部系数，低估最短路径长度和枢纽中心性，以及增加度分布尾部。因此，在解释通过相关性或成对统计依赖性测量获得的功能性连接体的网络特性时，而不是更全面（但需要大量数据）的多变量模型时，应谨慎使用。
2020-11-25 cs.IT cs.SI math.IT
Time-irreversibility tests for random-length time series: the matching-time approach applied to DNA
在这项工作中，我们实现了所谓的匹配时间估计估计的熵率以及熵产生率的符号序列。这些估计是基于系统的递归特性，这已被证明是适当的，特别是当序列具有较大的相关性或记忆测试不可逆性。基于匹配时间的极限定理，我们得到了一个极大似然估计的熵率假设我们有一组适度短的符号时间序列的有限随机持续时间。我们表明，所提出的估计有几个属性，使其足以估计熵率和熵产生率（或测试不可逆性）时，样本序列具有不同的长度，如DNA的编码序列。我们测试我们的方法在一些控制的例子马尔可夫链。我们还实现了我们的估计在基因组序列中，人类DNA的不可逆性编码序列的程度显着大于相应的非编码序列。
2021-07-05 cs.IT math.IT physics.data-an
Variable-lag Granger Causality and Transfer Entropy for Time Series Analysis
National Electronics and Computer Technology Center（国家电子和计算机技术中心）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；The Ohio State University（俄亥俄州立大学）
Granger因果关系是一种在时间序列数据中进行因果推断的基本技术，通常用于社会科学和生物科学。Granger因果关系的典型操作假设效应时间序列的每个时间点都受到具有固定时间延迟的其他时间序列的组合的影响。传递熵也存在固定时滞的假设，它被认为是格兰杰因果关系的非线性版本。然而，固定时滞的假设在许多应用中并不成立，例如集体行为、金融市场和许多自然现象。为了解决这个问题，我们开发了变滞后格兰杰因果关系和变滞后转移熵，广义的格兰杰因果关系和转移熵，放松了固定时间延迟的假设，并允许原因影响任意时间延迟的效果。此外，我们提出了方法推断变量滞后格兰杰因果关系和转移熵关系。在我们的方法中，我们利用动态时间弯曲（DTW）的最佳弯曲路径来推断变量滞后的因果关系。我们在研究协调集体行为和其他现实世界的推理数据集的应用程序上展示了我们的方法，并表明我们提出的方法在模拟和现实世界的数据集中比现有的几种方法表现得更好。我们的方法可以应用于任何领域的时间序列分析。这项工作的软件可以在R-CRAN包中获得：VLTimeCausality。
2020-06-01 cs.LG econ.EM physics.data-an
Identifying delayed directional couplings with symbolic transfer entropy
我们提出了一个简单的扩展符号传递熵，使延迟的方向关系的研究耦合动力系统之间的时间序列。通过对混沌模型系统的时间序列分析，证明了该方法的适用性和局限性。我们的研究结果从应用我们的方法来推断在人类癫痫大脑中的延迟定向相互作用，强调了我们的方法的重要性，以改善从数据的功能网络结构的建设。
2016-10-06 nlin.CD physics.comp-ph physics.data-an
