Renyi Entropy Rate of Stationary Ergodic Processes
本文研究了平稳遍历过程的Renyi熵率。对于一类特殊的平稳遍历过程，证明了Renyi熵率总是存在的，并且可以用它的定义序列多项式逼近;此外，利用马尔可夫逼近方法，证明了当马尔可夫阶趋于无穷大时，Renyi熵率可以用马尔可夫逼近序列指数逼近.对于一般情形，通过构造一个反例，证明了一般平稳遍历过程的Renyi熵率在α趋于1时总是收敛于其Shannon熵率的猜想.
2022-07-15 cs.IT math.IT
Prediction for discrete time series
设$\{X_n\}$是从有限或可数无限集合${\cal X}$中取值的平稳遍历时间序列。假设过程的分布是未知的。我们提出了一个序列的停时$λ_n$沿，我们将能够估计的条件概率$P(X_{λ_n+1}=x|X_0,...,X_{λ_n})$从数据段$(X_0,...,X_{λ_n})$在逐点一致的方式为一个限制类的固定和遍历有限或可数无限字母时间序列，其中包括除其他外，所有的固定和遍历finitarily马尔可夫过程。如果平稳和遍历过程最终证明是马尔可夫的（除其他外，所有平稳和遍历马尔可夫链都包括在这个类中），那么$ \lim_{n\to \infty} {n\over λ_n}>0$几乎肯定。如果平稳遍历过程具有有限熵率，那么$λ_n$的上界是多项式的，最终几乎肯定。
2007-11-03 cs.IT math.IT math.PR
Universal Codes as a Basis for Nonparametric Testing of Serial Independence for Time Series
我们考虑一个平稳和遍历的源$p$生成的符号$x_1 ... x_t$从一些有限集$A$和零假设$H_0$，$p$是马尔可夫源的记忆（或连接）不大于$m, (m >= 0).$的备择假设$H_1$是，该序列是由一个平稳和遍历的源，这不同于$H_0$下的源。特别地，如果$m= 0$，我们有零假设$H_0$，即序列是由Bernoully源生成的（或者假设$x_1 ...x_t$是独立的）。提出了一些基于泛码和泛预测子的新的检验方法。
2005-06-26 cs.IT math.IT
Stationary and Ergodic Properties of Stochastic Non-Linear Systems Controlled over Communication Channels
本文研究了如下问题：给定一个受控于有噪信道的随机非线性系，对于哪一类信道存在编码和控制策略使得闭环系统是随机稳定的？随机稳定性的概念被认为是平稳性，遍历性或渐近平均平稳性。我们不限制状态空间是紧凑的，例如考虑的系统可以由无界噪声驱动。得到了一大类系统和信道的充要条件。本文将波德积分公式推广到一大类非线性系和信息通道。所得结果推广了已有的线性系的结果。
2016-08-23 cs.IT math.IT math.PR
Compression-based methods for nonparametric density estimation, on-line prediction, regression and classification for time series
我们解决平稳和遍历时间序列的特征的非参数估计问题。我们考虑有限字母表时间序列和实值时间序列以及以下四个问题：i）（极限）概率的估计（或实值时间序列密度的估计），ii）在线预测，iii）回归和iv）分类（或所谓的边信息问题）。我们表明，所谓的存档（或数据压缩器）可以用作解决这些问题的工具。特别是，首先，它被证明，任何所谓的通用代码（或通用数据压缩器）可以被用来作为一个基础，为上述问题构造渐近最优方法。(By定义，通用码可以渐近地“压缩”由平稳和遍历源生成的任何序列，直到源的香农熵。其次，我们通过实验表明，基于实际使用的数据压缩方法的估计具有合理的精度。
2007-11-01 cs.IT math.IT
Predictive Complexity and Generalized Entropy Rate of Stationary Ergodic Processes
在在线预测框架中，我们使用广义熵来研究预测结果根据二进制字母表上的平稳遍历分布绘制时的损失率。我们表明，广义熵的一个定期的游戏\cite{KVV04}的概念是定义良好的平稳遍历分布。在证明这一点时，我们得到了一些经典的信息论不等式的新的博弈论证明。使用Birkhoff的遍历定理和收敛性质的条件分布，我们证明了一个经典的Shannon-McMillan-Breiman定理持有的一个限制类的定期游戏，当没有计算约束的预测策略。如果一个博弈是可混合的，那么存在一个最优聚合策略，与任何其他下半可计算策略相比，它最多损失一个加法常数。这种算法在无穷序列上的损失称为其预测复杂度。我们使用我们的版本的Shannon-McMillan-Breiman定理证明，当一个限制的正规游戏有一个预测的复杂性，预测的复杂性收敛到广义熵的游戏几乎无处不在的平稳遍历分布。
2016-03-04 cs.IT math.IT
Multiple Change Point Estimation in Stationary Ergodic Time Series
给定一个异质时间序列样本，目标是找到生成数据的概率分布发生变化的时间点（称为变化点）。数据被假定为已产生的任意未知的平稳遍历分布。没有建模、独立性或混合假设。提出了一种新的，计算效率高，非参数的方法，并证明是渐近一致的，在这个一般的框架。理论结果与实验评价的补充。
2015-05-11 cs.IT math.IT math.ST
Computable Bounds for Rate Distortion with Feed-Forward for Stationary and Ergodic Sources
在本文中，我们考虑的率失真问题的离散时间，遍历，和平稳源与前馈在接收机。我们推导出一个序列的可实现的和可计算的速率收敛到前馈率失真。我们证明了，对于各态历经和平稳源，速率{align} R_n（D）= \frac{1}{n} \min I（\hat{X}^n \rightarrow X^n）{align}对于任何$n$都是可实现的，其中最小化是在转移条件概率$p(\hat{x}^n|x^n)$上进行的，使得$\ex{}{d(X^n,\hat{X}^n)}\leq D$ . $R_n(D)$的极限是前馈速率失真。我们遵循Gallager的证明，其中没有前馈，并进行适当的修改，得到我们的结果。我们提供了一个算法计算$R_n(D)$使用交替最小化过程，并提出了几个数值例子。我们还提出了一个对偶形式的优化$R_n(D)$，并将其转化为一个几何规划问题。
2011-06-05 cs.IT math.IT
Parsings of Stationary Processes, Stopping Times and the Fundamental Pointwise Convergence Theorems of Ergodic Theory
本文引入平稳过程的单词集合解析概念及渐近分析框架，结合解析观察（基于定制停止时间的集合），从较弱的依概率收敛版本推导出逐点遍历定理与香农-麦克米兰-布莱曼定理。
2025-02-12 cs.IT math.CO math.DS
Multiple Description Coding of Discrete Ergodic Sources
研究离散遍历过程的多描述编码问题。我们介绍了MD平稳编码的概念，并描述了它与传统的块MD编码的关系。在静态编码中，除了通常在MD问题中考虑的两个速率约束之外，我们考虑另一个速率约束，其反映了由第三解码器给出的另外两个解码器的重构所生成的过程的条件熵。我们之间的关系，我们建立固定和块MD编码，使我们能够设计一个通用的算法MD编码的离散遍历源，模拟退火的想法，最近被证明是有用的标准率失真问题的基础上。
2009-11-04 cs.IT math.IT
Weakly Convergent Nonparametric Forecasting of Stationary Time Series
给定一个平稳过程的无限过去，下一个结果的条件分布可以从过去的有限但不断增长的片段中推断出来。已知有几种方案用于构造逐点相合估计，但它们都需要大量的输入数据。在本文中，我们考虑实值时间序列和构造条件分布估计，使更有效地利用输入数据。这些估计在弱意义上是一致的，它们是否逐点一致的问题仍然是开放的。对于有限字母表过程，可以依赖于通用的数据压缩方案，如Lempel-Ziv算法来构造在预期的信息散度中一致的条件概率质量函数估计。对于具有无限字母表中的值的所有平稳过程，在普适意义上不能达到这种强意义上的一致性，但弱一致性可以。讨论了这些估计在在线预测、回归和分类中的应用。
2008-05-20 cs.IT math.IT math.ST
Forward estimation for ergodic time series
从有限字母表${\cal X}$中取值的平稳和遍历时间序列$\{X_n\}_{n=0}^{\infty}$的前向估计问题是在没有过程$\{X_n\}$的分布的先验知识的情况下，基于观测$X_i$、$0\le i\le n$来估计$X_{n+1}=x$的概率。我们提出了一个简单的程序$g_n$上的数据段$(X_0,...,X_n)$和评估，${\rm error}(n) = |g_{n}(x)-P(X_{n+1}=x |X_0,...,X_n)|\to 0$几乎肯定为所有平稳和遍历时间序列的子类，而对于整个类的Cesaro平均误差趋于零几乎肯定，而且，误差趋于零的概率。
2007-11-24 cs.IT math.IT math.PR
Symbolic transfer entropy rate is equal to transfer entropy rate for bivariate finite-alphabet stationary ergodic Markov processes
传递熵是联合分布随机过程之间信息流大小和方向的度量。近年来，它的置换类似物在文献中被认为是通过计数值的排序出现的次数来估计转移熵，而不是值本身。已经表明，置换的方法是易于实现，计算成本低，并适用于现实世界的时间序列数据时，对噪声的鲁棒性。在本文中，我们提出了相应的速率的理论处理。特别是，我们认为转移熵率和它的置换模拟，符号转移熵率，并表明，他们是平等的任何二元有限字母平稳遍历马尔可夫过程。这个结果是[T. Haruna和K. Nakajima，Physica D 240，1370（2011）]。我们还讨论了转移熵率、时延互信息率以及它们的置换类比之间的关系。
2013-03-11 cs.IT math.IT nlin.CD
Consistency of the Plug-In Estimator of the Entropy Rate for Ergodic Processes
熵的插件估计器是分布的熵，其中符号或块的概率已被替换为它们在样本中的相对频率。插件估计量的一致性和渐近无偏性可以很容易地在IID的情况下证明。在本文中，我们问的插件估计是否可以用于一致估计的熵率$h$的平稳遍历过程。如果为了估计$k$阶的块熵，我们使用比$2^{k(h+ε)}$长的样本，则答案是肯定的，而如果我们使用比$2^{k(h-ε)}$短的样本，则答案是否定的。特别地，如果我们不知道熵率$h$，则使用长度为$(|X|+ε)^{k}$的样本就足够了，其中$|X|$是字母表大小。使用$k$块编码来导出结果。作为我们的技术的副产品，我们还表明，块熵的平稳过程是有界的平均块熵的遍历组件的非线性函数。这个不等式可以用来证明平稳过程的熵率等于其遍历分量的平均熵率这一已知事实。
2016-04-26 cs.IT math.IT
Source-Channel Coding and Separation for Generalized Communication Systems
我们考虑在接收端具有信道状态信息（CSIR）的非遍历复合信道上平稳和遍历信源的传输。之前，我们介绍了替代容量定义香农容量，包括容量与停电和预期的容量。这些广义定义放宽了香农容量的约束，即所有传输的信息必须在接收机处解码。在这项工作中，交替端到端的失真度量，如失真与中断和预期的失真被引入放松的约束，一个单一的失真水平必须保持所有的信道状态。对于平稳和遍历信道上的平稳和遍历源的传输，经典的香农分离定理使信源和信道码的单独设计和保证最佳性能。对于广义的通信系统，我们表明，不同的端到端的失真度量导致不同的结论分离最优性，即使对于相同的源和信道模型。
2009-02-26 cs.IT math.IT
Divergent Predictive States: The Statistical Complexity Dimension of Stationary, Ergodic Hidden Markov Processes
即使是简单定义的有限状态生成器也会产生随机过程，这些随机过程需要跟踪不可数的无穷大概率特征以进行最佳预测。对于隐马尔可夫链产生的过程，后果是戏剧性的。他们的预测模型一般是无限状态的。而且，直到最近，人们才能确定它们的内在随机性和结构复杂性。然而，前传引入了精确计算香农熵率（随机性）的方法，并建设性地确定了它们的最小（尽管是无限的）预测特征集。利用这一点，我们解决了互补的挑战，确定如何结构化的隐马尔可夫过程是通过计算其统计复杂性维度-信息维度的最小集的预测功能。它跟踪最佳预测一大类真正复杂的进程所需的最小内存资源的发散率。
2021-03-15 cond-mat.stat-mech cs.IT math.DS
Smooth Rényi Entropy of Ergodic Quantum Information Sources
我们证明了平均光滑Renyi熵率将接近平稳、遍历信源的熵率，它等于经典信源的Shannon熵率和量子信息信源的冯诺伊曼熵率。
2007-04-26 cs.IT math.IT quant-ph
Asymptotic nonparametric statistical analysis of stationary time series
平稳性是一个非常一般的定性假设，可以根据应用程序的具体情况进行评估。因此，这是一个相当有吸引力的假设基础上统计分析，特别是对问题的不太一般的定性假设，如独立性或有限的记忆，显然失败。然而，长期以来，人们一直认为它过于笼统，无法进行统计推断。其中一个原因是，收敛速度，甚至是频率到平均值的收敛速度，仅在这个假设下是不可用的。最近，它已经表明，虽然一些自然和简单的问题，如同质性，确实是证明不可能解决的，如果只假设数据是平稳的（或平稳遍历），许多其他可以解决使用相当简单和直观的算法。后者的问题包括聚类和变化点估计。在本卷中，我总结了这些结果。重点是渐近一致性，因为这是最强的属性可以单独假设平稳性。虽然对于大多数问题的解决方案是找到这种解决方案是算法实现的，在这一领域的研究，这是只有部分达到的目标的主要目标，是要了解什么是可能的，什么是不可能做的平稳时间序列。所考虑的问题包括同质性检验，聚类相对于分布，聚类相对于独立性，变化点估计，身份检验，和复合假设检验的一般问题。对于后一个问题，给出了一个相合检验存在的拓扑判据。此外，几个开放的问题进行了讨论。
2019-03-30 cs.IT cs.LG math.IT
Calibrating random number generator tests
目前，对随机数发生器（RNG）的统计测试在实践中得到了广泛的应用，其中一些甚至被纳入了信息安全标准。但是，尽管RNG很受欢迎，但相合检验仅适用于随机性的平稳遍历偏差（如果在样本量达到$ \infty $时检测到与给定类的任何偏差，则该检验是一致的）。然而，稳态遍历信源的模型对于某些随机网络发生器，特别是对于基于物理效应的发生器来说过于狭窄。在这篇文章中，我们提出了可计算的相合检验的偏差比平稳遍历更一般的一些类别，并描述了统计检验的一些一般性质。所提出的方法和测试结果是基于信息论的思想和方法。
2021-05-14 cs.CR cs.IT math.IT
Ergodic Theory for Controlled Markov Chains with Stationary Inputs
考虑有限状态空间$ {\sf X}=\{1,\dots, d\}$上的随机过程$\{X(t)\}$。它是条件马尔可夫，给定一个实值的“输入过程”$\{ζ(t)\}$。这被假设为小的，其通过缩放\[ ζ_t = \varepsilon ζ^1_t, \qquad 0\le \varepsilon \le 1\,, \]建模，其中$\{ζ^1(t)\}$是有界平稳过程。在受控转移矩阵的光滑性假设和$\{ζ(t)\}$上的混合条件下，得到了以下结论：（i）构造了过程的平稳版本，它与由$\{ζ(t)\}\equiv 0$得到的马尔可夫链$\{X^\bullet$（t）的平稳版本相耦合。三重$(\{X(t)\}, \{X^\bullet(t)\},\{ζ(t)\})$是一个联合平稳过程满足\[ {\sf P}\{X(t) \neq X^\bullet(t)\} = O(\varepsilon) \]此外，二阶泰勒级数逼近：\[ {\sf P}\{X(t) =i \} ={\sf P}\{X^\bullet(t) =i \} + \varepsilon^2 \varrho(i) + o(\varepsilon^2),\quad 1\le i\le d, \]与明确的公式为向量$\varrho\in\mathbb{R}^d$。(ii)对于任何$m\ge 1$和任何函数$f\colon \{1,\…
2016-06-18 cs.IT cs.PF math.IT
