Context Tree Estimation in Variable Length Hidden Markov Models
我们解决了可变长度隐马尔可夫模型中的上下文树估计问题。我们提出了一个估计的上下文树的隐马尔可夫过程，它不需要事先上界的深度上下文树。我们证明了估计量是强相合的。这一方法使用了Finesso和Lorenzo（Consistent estimation of the order for Markov and hidden Markov chains（1990））和E.Gassiat和S.Boucheron（Optimal error exponents in hidden Markov model order estimation（2003））的信息论混合不等式。我们提出了一种算法来有效地计算估计，并提供模拟研究，以支持我们的结果。
2011-09-14 cs.IT math.IT math.ST
Distributed Arithmetic Coding for Sources with Hidden Markov Correlation
分布式算术编码（DAC）已被证明是有效的Slepian-Wolf编码，特别是对短数据块。在这封信中，我们建议使用DAC压缩记忆相关的来源。更具体地，源之间的相关性被建模为隐马尔可夫过程。实验结果表明，该算法性能接近理论Slepian-Wolf极限。
2021-01-07 cs.IT math.IT
Decision Feedback Based Scheme for Slepian-Wolf Coding of sources with Hidden Markov Correlation
我们考虑两个无记忆二进制源的压缩问题，它们之间的相关性由隐马尔可夫模型（HMM）定义。我们提出了一个决策反馈（DF）为基础的计划，当使用低密度的奇偶检验码的压缩结果接近Slepian狼限制。
2005-06-12 cs.IT math.IT
A Decision Feedback Based Scheme for Slepian-Wolf Coding of sources with Hidden Markov Correlation
我们考虑两个无记忆二进制源的压缩问题，它们之间的相关性由隐马尔可夫模型（HMM）定义。我们提出了一个决策反馈（DF）为基础的计划，当使用低密度的奇偶检验码的压缩结果接近Slepian狼限制。
2005-06-13 cs.IT math.IT
Analyticity of Entropy Rate of Continuous-State Hidden Markov Chains
我们证明了在一定的温和的假设下，隐藏的马尔可夫链的熵率，观察时通过一个有限状态的平稳马尔可夫链通过离散时间连续输出信道，是联合解析的输入马尔可夫链参数和信道参数的函数。特别是，作为后果的主要定理，我们获得解析的熵率与代表性的渠道：柯西和高斯。
2012-08-16 cs.IT math.IT math.PR
Novel Lower Bounds on the Entropy Rate of Binary Hidden Markov Processes
最近，Samorodnitsky证明了Gerber夫人引理的一个加强版本，其中二进制对称信道的输出熵是有界的输入投影在随机坐标子集上的平均熵。在这里，这一结果适用于推导新的二进制隐马尔可夫过程的熵率的下界。对于对称的基本马尔可夫过程，我们的界限改善了最知名的界限非常嘈杂的制度。非对称的情况下，也被认为是明确的边界推导出满足$(1,\infty)$ -RLL约束的马尔可夫过程。
2016-05-09 cs.IT math.IT
A Markovian Model for Joint Observations, Bell's Inequality and Hidden States
虽然量子系统的标准方法研究波函数的保长线性变换，但马尔可夫图像专注于厄米特（自伴）矩阵空间上的保迹算子。马尔可夫方法扩展了标准方法，并提供了测量和量子马尔可夫链的精细分析。特别是，贝尔不等式在结构上变得清晰。事实证明，隐藏状态模型在马尔可夫上下文中是自然的。特别是，违反贝尔不等式被认为是兼容的存在的隐藏状态。马尔可夫模型还澄清了费曼对EPR悖论的分析中“负概率”的作用。
2012-06-07 cs.IT math.IT quant-ph
On Hidden Markov Processes with Infinite Excess Entropy
研究了过去和未来之间的互信息为无穷大的平稳隐马尔可夫过程。假设可观测状态的数目是有限的，而隐状态的数目是可数无穷的。在此假设下，我们证明了隐马尔可夫过程的块互信息的上界是由隐状态分布的尾部指数所决定的幂律。此外，我们展示了三个过程的例子。前面考虑的第一个例子是非遍历的，块之间的互信息由块长度的对数限定。第二个例子也是非遍历的，但是块之间的互信息服从幂律。第三个例子服从幂律，并且是遍历的。
2012-11-21 cs.IT math.IT
Exact Computation of Kullback-Leibler Distance for Hidden Markov Trees and Models
我们提出了新的递归公式来计算两个一般隐马尔可夫树（HMT）之间的Kullback-Leibler距离（KLD）的精确值。对于具有规则拓扑的齐次隐马尔可夫模型，如齐次隐马尔可夫模型（HMM），当没有证据时，我们得到了KLD的封闭形式表达式。我们推广我们的递归公式的情况下，HALTH条件下的可观察变量。我们提出的公式进行了验证，通过几个数值例子中，我们比较精确的KLD值与蒙特卡洛估计。
2012-10-09 cs.IT math.IT
A note on a complex Hilbert metric with application to domain of analyticity for entropy rate of hidden Markov processes
本文证明了正矩阵的复小扰动是标准复单纯形上关于复希尔伯特度量的压缩。我们发现，这个度量可以用来获得的域的解析性的熵率的隐马尔可夫过程时，底层马尔可夫链具有严格的正转移概率的估计。
2009-05-15 cs.IT math.DS math.IT
Analyticity of Entropy Rates of Continuous-State Hidden Markov Models
研究了连续状态隐马尔可夫模型的熵和相对熵率的解析性。使用解析延拓原理和最优滤波器的稳定性，这些速率的解析参数化模型。所得到的结果保持在相对温和的条件下，并涵盖了几类隐马尔可夫模型在实践中遇到的。这些结果与统计推断、系统辨识和信息论中的几个重要问题有关。
2019-08-29 cs.IT math.IT math.ST
Improving the Runtime of Algorithmic Polarization of Hidden Markov Models
我们改进了Guruswami，Nakkiran和Sudan在2018年论文中提出的隐马尔可夫源的线性压缩方案的运行时间。在以前的方案下，压缩长度为$n$的消息需要$O(n \log n)$运行时间，并且对于任何固定的$δ> 0.$，解压缩需要$O(n^{1 + δ})$运行时间。我们提出了如何通过缓存中间结果以避免重复计算来将解码方案的运行时间提高到$O(n \log n)$。
2023-03-06 cs.IT math.IT
Information Geometry Approach to Parameter Estimation in Hidden Markov Models
本文提出基于信息几何的高效估计量，仅利用 k-记忆数据直方图估计隐马尔可夫过程的转移矩阵，并在切空间上讨论模型等价性。
2021-03-16 cs.IT math.IT math.ST
Efficient tests for equivalence of hidden Markov processes and quantum random walks
而两个隐马尔可夫过程（HMP）分别。量子随机游走（QRW）参数化可以彼此不同，由它们产生的随机过程可以是等价的。本文提出了一个多项式时间算法，它可以分别确定两个HMP参数化$\cM_1,\cM_2$和HMP参数化的等价性。时间上的两个QRW参数化$\cQ_1,\cQ_2$ $O(|§|\max(N_1,N_2)^{4})$，其中$N_1,N_2$分别是$\cM_1,\cM_2$和与$\cQ_1,\cQ_2$相关联的状态空间的维数，并且$§$是输出符号的集合。以前可用的算法用于测试等价的HMP是指数的隐藏状态的数量。在快速反应工作组的情况下，尚未提出检验等效性的算法。该算法的核心子程序也可以用来有效地测试隐马尔可夫过程和量子随机游动的遍历性。
2010-11-04 cs.IT math.IT
Analyticity of Entropy Rate of Hidden Markov Chains
我们证明了在温和的正性假设下，隐马尔可夫链的熵率作为底层马尔可夫链参数的函数解析地变化。提出了确定解析性域的一般原则。最后给出了一个例子来估计熵率的收敛半径。然后，我们表明，积极性的假设可以放宽，并给出了放松条件的例子。我们研究了一类特殊的隐马尔可夫链的更详细的：二元隐马尔可夫链的一个明确的符号，我们给出了充要条件的解析性的熵率这种情况下。最后，我们表明，根据积极性假设的隐马尔可夫链{ \em本身}的变化分析，在很强的意义上，作为一个函数的基本马尔可夫链参数。
2006-04-03 cs.IT math.IT math.PR
The Entropy of a Binary Hidden Markov Process
二进制对称隐马尔可夫过程的熵被计算为在噪声参数中的展开。我们将问题映射到一个一维的伊辛模型在一个大的领域的随机符号和计算的膨胀系数高达二阶的π。利用一个猜想，我们将计算推广到11阶，并讨论了所得级数的收敛性。
2005-07-23 cond-mat.stat-mech cs.IT math.IT
Ziv-Merhav estimation for hidden-Markov processes
本文证明了隐马尔可夫过程对交叉熵率的Ziv-Merhav型估计量具有强一致性，其证明创新性地利用了定律解耦性质和热力学形式化工具。
2024-08-16 cs.IT math.IT math.PR
The Partially Observable Hidden Markov Model and its Application to Keystroke Dynamics
部分可观测隐马尔可夫模型是隐马尔可夫模型的扩展，其中隐状态是以独立的马尔可夫链为条件的。这种结构的动机是离散元数据的存在，如事件类型，可以部分揭示隐藏的状态，但本身来自一个单独的过程。这样的场景在用户动态中遇到，由此用户的键入行为取决于键入的文本。在用户可以处于主动或被动打字状态的假设下，键盘键名是部分揭示隐藏状态的事件类型，这是由于单词和句子之间的时间间隔比单词的字母之间的时间间隔相对较长。使用五个公共数据集，所提出的模型被证明是一贯优于其他异常检测器，包括标准的HMM，在生物识别和验证任务，并通常优于HMM在蒙特卡洛拟合优度测试。
2017-11-20 cs.CR cs.IT math.IT
Exponential Bounds for Convergence of Entropy Rate Approximations in Hidden Markov Models Satisfying a Path-Mergeability Condition
隐马尔可夫模型（HMM）被称为具有路径可合并的状态，如果对于任何两个状态i，j，存在一个字w和状态k，使得可以在发出w的同时从i和j过渡到k。我们证明，对于具有路径可合并状态的有限隐马尔可夫模型，熵率的块估计以指数速度收敛。我们还表明，路径可合并性是渐近典型的HMM拓扑空间中，易于测试。
2014-02-05 cs.IT math.IT math.PR
Taylor series expansions for the entropy rate of Hidden Markov Processes
隐马尔可夫过程的熵率是一个非常活跃的研究课题，具有重要的理论和实际意义。最近使用的一种方法是研究熵率在不同制度下的渐近行为。在本文中，我们推广并证明了以前的猜想有关的熵率熵有限系统。在我们的新定理的基础上，我们建立了两个不同制度的熵率的级数展开。我们还研究了这两个级数展开式的收敛半径。
2005-10-03 cond-mat.stat-mech cs.IT math.IT
A hybrid scheme for encoding audio signal using hidden Markov models of waveforms
本文报道了利用时间尺度和时频变换对音频信号进行编码的最新研究成果。更确切地说，将描述使用局部余弦和小波基的音调和瞬态分量的非线性结构化近似，从而产生音调+瞬态+残差形式的音频信号的扩展。我们描述了一个一般的配方涉及隐马尔可夫模型，以及相应的速率估计。还讨论了平衡瞬态/音调的估计器。
2013-04-22 cs.IT math.IT math.ST
Replica Analysis of the Linear Model with Markov or Hidden Markov Signal Priors
University of Cambridge（剑桥大学）
本文采用统计物理中的复本方法，估计了信源为马尔可夫链或隐马尔可夫模型的线性模型的自由能、平均互信息与MMSE，证明其可解耦为带状态信息的单输入AWGN信道，且数值结果与现有算法结果高度吻合。
2023-07-25 cs.IT cs.LG math.IT
Derivatives of Entropy Rate in Special Families of Hidden Markov Chains
考虑一个隐马尔可夫链作为一个普通马尔可夫链的观测过程被噪声破坏。Zuk，et. [13]，[14]表明，原则上，人们可以明确地计算噪声极值处的熵率的导数。也就是说，他们证明了熵率的标准上近似的导数实际上稳定在一个明确的有限时间。我们将这个结果推广到一个自然类的隐马尔可夫链称为“黑洞。我们还深入讨论了在二元对称噪声中观察到的二元马尔可夫链的特殊情况，并给出了一个抽象的公式，一阶导数的措施，由于布莱克威尔的单形。
2006-04-03 cs.IT math.IT math.PR
Exactly Optimal Bayesian Quickest Change Detection for Hidden Markov Models
本文研究了贝叶斯环境下隐马尔可夫模型的最快检测问题。我们构建了一个增强的HMM表示的问题，允许应用动态规划方法来证明Shiryaev的规则是一个（精确的）最优解。这种增强的表示突出了问题的基本信息结构，并建议可能放宽到更多的异国情调的变化事件的先验文献中没有出现。最后，这种增强表示也使我们能够提出一个有效的计算方法来实现最优解。
2023-03-16 cs.IT cs.SY eess.SY
Learning Hidden Markov Models using Non-Negative Matrix Factorization
Dartmouth College（达特茅斯学院）；California State University at Los Angeles（加州州立大学洛杉矶分校）
Baum-Welsh算法及其衍生物和变体一直是从观测数据中学习隐马尔可夫模型（HMM）的主要技术。我们提出了一种基于高阶马尔可夫统计的非负矩阵分解（NMF）的HMM学习算法，该算法在结构上不同于Baum-Welsh及其相关方法。所描述的算法支持估计HMM的递归状态的数量，并迭代非负矩阵分解（NMF）算法以改进学习的HMM参数。数值例子也提供。
2011-01-08 cs.AI cs.IT cs.LG
Informational and Causal Architecture of Continuous-time Renewal and Hidden Semi-Markov Processes
我们介绍了由某些隐半马尔可夫模型生成的过程的最小最大预测模型（ε-机）。它们的因果状态是离散-连续或连续的混合随机变量，因果状态的转换由偏微分方程描述。封闭形式的表达式给出了统计复杂性，过剩熵，和差分信息解剖率。本文对连续时间更新过程的ε-机进行了完整的分析，并将其推广到单线隐半马尔可夫模型和半马尔可夫模型生成的过程.我们的信息理论分析导致新的表达式的熵率和相关的信息措施，这些非常一般的连续时间过程类的利率。
2016-11-03 cond-mat.stat-mech cs.IT math.IT
From finite-system entropy to entropy rate for a Hidden Markov Process
最近的一个结果给出了隐马尔可夫过程（HMP）的熵率在噪声变量$\eps$中的幂级数展开。无噪声（$\eps = 0$）极限附近的展开系数计算到11阶，使用一个猜想，该猜想将HMP的熵率与有限长度过程的熵（解析计算）联系起来。在本文中，我们推广并证明了猜想的有效性，并讨论了我们的新定理的理论和实际后果。
2005-10-06 cs.IT math-ph math.IT
Shannon Entropy Rate of Hidden Markov Processes
隐马尔可夫链是随机过程的广泛应用的统计模型，从基础物理和化学到金融，健康和人工智能。然而，即使链是有限状态，它们产生的隐马尔可夫过程也是非常复杂的：它们的香农熵率不存在有限表达式，因为它们的预测特征集一般是无限的。因此，到目前为止，人们不能对它们的随机性和结构性做出一般性的陈述。在这里，我们通过展示如何有效和准确地计算它们的熵率来解决这一挑战的第一部分。我们还展示了这种方法如何给出无限预测特征的最小集合。续集解决了挑战的第二部分结构。
2020-08-29 cond-mat.stat-mech cs.IT math.DS
