Information Geometry Approach to Parameter Estimation in Hidden Markov Models
本文提出基于信息几何的高效估计量，仅利用 k-记忆数据直方图估计隐马尔可夫过程的转移矩阵，并在切空间上讨论模型等价性。
2021-03-16 cs.IT math.IT math.ST
Health Assessment and Prognostics Based on Higher Order Hidden Semi-Markov Models
本文提出了一种新的和灵活的基于高阶隐半马尔可夫模型（HOHSMM）的系统或组件的健康状态不可观测和复杂的过渡动态的系统或组件的故障诊断框架。HOHSMM扩展了基本的隐马尔可夫模型（HMM），允许隐藏状态依赖于其更遥远的历史，并假设一般分布状态持续时间。设计了一种有效的吉布斯抽样算法用于HOHSMM的统计推断。建议HOHSMM采样器的性能进行了评估，通过模拟实验。我们进一步设计了一个解码算法来估计隐藏的健康状态使用学习模型。剩余使用寿命（RUL）的预测使用模拟方法给定的解码的隐藏状态。NASA涡扇发动机的一个案例研究表明，所提出的气动力学框架的实际效用。结果表明，基于HOHSMM的故障诊断框架为复杂系统提供了良好的隐藏健康状态评估和RUL估计。
2020-02-12 stat.AP
Asymptotic properties of the maximum likelihood estimator for Hidden Markov Models indexed by binary trees
本文研究以二叉树为索引、隐状态为一般度量空间的隐马尔可夫模型，在平稳与非平稳情形下证明最大似然估计量的强相合性与渐近正态性，并借助树索引马尔可夫链的遍历定理完成证明。
2024-09-10 math.PR math.ST stat.TH
Analyticity, Convergence and Convergence Rate of Recursive Maximum Likelihood Estimation in Hidden Markov Models
本文研究隐马尔可夫模型中递推极大似然估计的渐近性质。本文主要讨论对数似然函数的渐近性态以及递推极大似然估计的点收敛性和收敛速度。利用解析延拓原理，证明了解析参数隐马尔可夫模型的渐近对数似然函数的解析性。根据这一事实和微分几何的一些结果（Lojasiewicz不等式），证明了递归极大似然算法的几乎必然点收敛性，并给出了其收敛速度的严格界.与已有的关于隐马尔可夫模型中极大似然估计的渐近性质的结果不同，本文的结果是在不假设对数似然函数有一个孤立的极大值且Hessian在该极大值处是严格负定的情况下得到的.
2009-09-24 math.ST stat.TH
Maximum likelihood estimation in hidden Markov models with inhomogeneous noise
本文研究了含时变非齐次噪声的有限隐状态空间马尔可夫模型的参数估计，其中非齐次噪声消失得足够快。基于渐近均值平稳过程的概念，证明了极大似然估计与拟极大似然估计的强相合性。QMLE的计算忽略了非均匀性，因此，更简单和鲁棒。该理论的动机是从生物物理学的一个例子，并适用于泊松和线性高斯模型。
2018-09-29 math.ST stat.ME stat.TH
Nonparametric identification and maximum likelihood estimation for hidden Markov model
研究有限状态隐马尔可夫模型的非参数辨识和极大似然估计。我们得到的参数识别以及马尔可夫链的顺序，如果转移概率矩阵有满秩和遍历，如果状态相关的分布都是不同的，但不一定是线性无关。在此基础上，发展了非参数极大似然估计理论。首先，我们证明了隐马尔可夫模型的渐近对比，Kullback-Leibler散度，确定了真正的参数向量非参数以及。其次，对于状态依赖密度的类，这是一个参数家庭的任意混合物，我们证明了非参数极大似然估计的一致性。这里，不需要假设混合分布的识别。数值特性的估计，以及非参数拟合优度拟合优度的模拟研究。
2015-09-30 math.ST stat.TH
Asymptotic properties of the maximum likelihood estimation in misspecified hidden Markov models
令$(Y_k)_{k\in \mathbb{Z}}$是概率空间$(Ω,\mathcal{A},\mathbb{P})$上的平稳序列，其值在标准Borel空间$\mathsf{Y}$中。考虑与隐马尔可夫模型的参数化族相关的最大似然估计，使得观测值$(Y_k)_{k\in \mathbb{Z}}$的规律不被假设为由该族的任何隐马尔可夫模型描述。在本文中，我们研究了这种估计在这种错误指定的模型在温和的假设下的一致性。
2013-02-18 math.ST stat.TH
Identifiability and consistent estimation of nonparametric translation hidden Markov models with general state space
本文考虑隐马尔可夫模型，其中观测值是位于一般状态空间中的潜在状态和一些分布未知的独立噪声之和。结果表明，这些完全非参数的翻译模型是可识别的潜变量的分布和噪声的分布，主要是一个轻尾假设的潜变量。提出了两种非参数估计方法，并证明了在弱收敛拓扑下，相应的估计量是相合的。这些结果与数值实验说明。
2020-01-29 math.ST stat.TH
Tensorized algorithms and scalable filtering methods for hidden Markov and factorial hidden Markov models
Department of Mathematics, University of Tennessee, Knoxville, TN（数学系，田纳西大学， Knoxville, TN）
针对因子隐马尔可夫模型计算成本高的问题，利用张量代数开发可扩展滤波方法，直接利用其多维结构，无需构建中间表示，显著提升计算性能，可高效分析大系统和数据集，扩展了fHMM范围并提供实用框架。
2026-07-09 cs.LG stat.ML
Learning Tree Distributions by Hidden Markov Models
Dipartimento di Informatica - Università di Pisa（比萨大学计算机系）
隐树马尔可夫模型允许学习树结构数据的分布，同时可解释为非确定性自动机。我们提供了一个简明扼要的文献中的主要方法，特别是侧重于因果关系的假设，介绍了一个特定的树访问方向的选择。然后，我们将勾勒出一个新的非参数推广的自底向上隐树马尔可夫模型与其解释为一个不确定的树自动机与无限状态。
2018-05-31 cs.LG stat.ML
Comparative Analysis of the Hidden Markov Model and LSTM: A Simulative Approach
UCLA University（加州大学洛杉矶分校）
时间序列和序列数据最近得到了极大的关注，因为许多现实世界中的各种领域，如金融，教育，生物和工程过程可以建模为时间序列。虽然许多算法和方法，如卡尔曼滤波器，隐马尔可夫模型和长短期记忆（LSTM）被提出来对数据进行推断和预测，但它们的使用在很大程度上取决于应用，问题类型，可用数据以及足够的准确性或损失。在本文中，我们比较了监督和无监督隐马尔可夫模型与LSTM在训练所需的数据量，复杂性和预测准确性方面的差异。此外，我们提出了各种技术来离散化的意见，并将问题转化为一个离散的隐马尔可夫模型在平稳和非平稳的情况下。我们的研究结果表明，当大量标记数据不可用时，即使是无监督的隐马尔可夫模型也可以优于LSTM。此外，我们表明，隐马尔可夫模型仍然可以是一个有效的方法来处理的序列数据，即使在一阶马尔可夫假设不满足。
2020-08-09 cs.LG stat.ML
A Simple Explanation of A Spectral Algorithm for Learning Hidden Markov Models
MIT（麻省理工学院）
在“A Spectral Algorithm for Learning Hidden Markov Models”（COLT 2009）中对该算法进行了简单的线性代数解释。大部分内容都在图2中;文本只是在四个几乎微不足道的声明中使一切都变得精确。
2012-04-11 cs.LG stat.ME stat.ML
Hidden Markov Neural Networks
ESOMAS, University of Torino（都灵大学ESOMAS学院）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；School of Mathematics, University of Bristol（布里斯托大学数学学院）
该研究提出隐马尔可夫神经网络，将网络权重建模为隐马尔可夫模型隐状态，结合序列反向传播贝叶斯与变分DropConnect，在多任务上实现了优异预测性能与有效不确定性量化。
2025-01-16 cs.LG stat.ML
Market forecasting using Hidden Markov Models
本文以欧元/美元期货的日收盘价和对数收益率为研究对象，利用隐马尔可夫模型（HMRM）对欧元/美元期货的价格进行预测。我们的工作的目的是要了解如何描述不同的金融时间序列，根据其结构的障碍。随后，我们分析了在以前的文献中暴露的预测方法，把证据的优点和缺点。
2016-05-06 cs.LG stat.ML
A Spectral Algorithm for Inference in Hidden Semi-Markov Models
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
隐半马尔可夫模型（HSMM）是允许潜在状态持久性的潜在变量模型，可以被视为流行的隐马尔可夫模型（HHMM）的推广。在本文中，我们介绍了一种新的谱算法进行推理HSMM。不同于期望最大化（EM），我们的方法正确估计的概率给定的观察序列的基础上的一组训练序列。我们的方法是基于估计的时刻从样本，其维数仅依赖于数学上的隐藏状态持久性的最大长度。此外，该算法只需要几个矩阵求逆，因此计算效率高。对合成数据和真实数据的实证评估表明，该算法在速度和精度方面优于EM，特别是对于大数据集。
2016-02-29 cs.LG stat.ML
Geographical Hidden Markov Tree for Flood Extent Mapping (With Proof Appendix)
University of Alabama（阿拉巴马大学）
洪水范围测绘在灾害管理和国家水资源预测方面发挥着至关重要的作用。然而，传统的分类方法往往受到噪声、障碍物、光谱特征的异质性以及类标签间隐含的各向异性空间依赖性等因素的影响。在本文中，我们提出了地理隐马尔可夫树，概率图形模型，推广了常见的隐马尔可夫模型从一维序列到二维的地图。各向异性的空间依赖性被合并在具有反向树结构的隐藏类层中。我们还研究了逆向树构造，模型参数学习和类推理的计算算法。对合成和真实世界数据集的广泛评估表明，该模型在洪水映射中优于多个基线，并且我们的算法在大数据量上具有可扩展性。
2018-05-24 cs.LG stat.ML
SpaMHMM: Sparse Mixture of Hidden Markov Models for Graph Connected Entities
INESC TEC（INESC TEC（葡萄牙系统与计算机工程研究所））；University of Porto（波尔图大学）
我们提出了一个框架来模拟分布的顺序数据来自一组实体连接在一个已知的拓扑图。该方法是基于共享的隐马尔可夫模型的混合物（HALGOR），这是联合训练，以利用图形结构的知识，并在这样一种方式，获得的混合物往往是稀疏的。在不同应用领域的实验表明了该方法的有效性和通用性。
2019-03-31 cs.LG stat.ML
Short-Term Wind-Speed Forecasting Using Kernel Spectral Hidden Markov Models
The University of Electro-Communications（电气通信大学）
在机器学习中，提出了一种用于时间序列数据的非参数预测算法，称为核谱隐马尔可夫模型（KSHMM）。在本文中，我们提出了一种基于KSHMM的短期风速预测技术。我们使用国家可再生能源实验室提供的风速数据，将我们基于KSHMM的预测技术与其他机器学习技术的性能进行了数值比较。我们的研究结果表明，与这些方法相比，所提出的技术提供了相当或更好的性能。
2018-11-15 cs.LG stat.ML
Advanced posterior analyses of hidden Markov models: finite Markov chain imbedding and hybrid decoding
National Centre for Register-based Research, Department of Public Health, Aarhus University（丹麦奥胡斯大学公共卫生系注册基于研究国家中心）；Bioinformatics Research Centre, Aarhus University（丹麦奥胡斯大学生物信息学研究中心）；Section for Evolutionary Genomics, Globe Institute, University of Copenhagen（丹麦哥本哈根大学全球研究所进化基因组学部门）；Department of Mathematics, Aarhus University（丹麦奥胡斯大学数学系）
本文提出有限马尔可夫链嵌入与混合解码方法，分别用于计算隐马尔可夫模型隐状态汇总统计量的后验分布和改进解码性能，并引入调谐参数选择新程序，在经典数据集上验证了优越性。
2025-04-21 cs.LG stat.ML
Optimized Hidden Markov Model based on Constrained Particle Swarm Optimization
University Lumiere of Lyon 2（里昂第二吕米埃大学）；Chengdu University（成都大学）
隐马尔可夫模型（HMM）作为贝叶斯分析工具之一，已经得到了广泛的应用。大多数Hyngeal问题都是通过Baum-Welch算法（BWHMM）来预测模型参数，难以找到全局最优解。本文提出了一种基于粒子群优化算法的隐马尔可夫模型（PSOHMM）。为了克服隐马尔可夫模型中的统计约束，本文提出了重规范化和重映射机制来保证隐马尔可夫模型中的约束。实验结果表明，PSOHMM比BWHMM能更好地搜索解，且收敛速度更快。
2018-11-07 cs.LG stat.ML
Infinite Structured Hidden Semi-Markov Models
本文综述了贝叶斯非参数技术在无穷隐马尔可夫模型中构造和推理的最新进展。我们专注于贝叶斯非参数隐马尔可夫模型，特别是增强后验状态持久性的变种。本文还介绍了一种新的贝叶斯非参数框架，用于生成从左到右和其他结构化的，显式持续时间的无限隐马尔可夫模型，我们称之为无限结构化隐半马尔可夫模型。
2014-06-30 stat.AP stat.ME stat.ML
Estimating an Activity Driven Hidden Markov Model
University of California/San Diego（加州大学圣迭戈分校）
我们定义了一个隐马尔可夫模型（HMM），其中每个隐藏状态具有时间依赖的$\textit{activity levels}$，驱动转换和排放，并显示如何估计其参数。我们的建设的动机是从，例如，移动电话记录推断亚日常时间尺度上的人类流动性的问题。
2015-07-27 cs.DS cs.LG cs.SI
Modeling disease progression in longitudinal EHR data using continuous-time hidden Markov models
McGill University（麦吉尔大学）
在医疗保健管理数据库中建模疾病进展是复杂的，因为当患者寻求医疗保健服务时，仅以不规则的间隔观察患者。在76，888例慢性阻塞性肺疾病（COPD）患者的纵向队列中，我们使用连续时间隐马尔可夫模型和广义线性模型对医疗保健利用事件进行建模。我们发现，拟合模型提供了可解释的结果，适合总结和假设生成。
2018-12-03 cs.LG q-bio.PE stat.ML
Stochastic Collapsed Variational Inference for Hidden Markov Models
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。在本文中，我们提出了一个随机折叠变分推断算法的隐马尔可夫模型，在一个序列数据设置。给定一个崩溃的隐马尔可夫模型，我们将它的长马尔可夫链分解成一组短的子链。我们提出了一种新的和积算法来更新子链的后验，考虑到它们的边界过渡，由于顺序依赖。我们在两个离散数据集上的实验表明，我们的折叠算法是可扩展的非常大的数据集，内存效率和显着更准确的比现有的uncollapsed算法。
2015-12-05 stat.ML
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University（巴黎第十三大学）；IFSTTAR（法国交通与安全科学技术研究所）；Heudiasyc Lab（Heudiasyc实验室）
本文介绍了一种新的基于模型的聚类方法聚类时间序列，目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化（EM）算法采用极大似然法进行。所提出的方法进行评估，使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法，包括高斯混合的标准EM，$K$均值聚类，标准混合回归模型和混合隐马尔可夫模型的比较，证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
Replica Analysis of the Linear Model with Markov or Hidden Markov Signal Priors
University of Cambridge（剑桥大学）
本文采用统计物理中的复本方法，估计了信源为马尔可夫链或隐马尔可夫模型的线性模型的自由能、平均互信息与MMSE，证明其可解耦为带状态信息的单输入AWGN信道，且数值结果与现有算法结果高度吻合。
2023-07-25 cs.IT cs.LG math.IT
Markov Observation Models
University of Alberta（阿尔伯塔大学）
本文将隐马尔可夫模型扩展为观测本身是依赖隐状态的马尔可夫链，提出相应的期望最大化算法和动态规划算法，用于参数估计、隐状态滤波与最可能隐状态序列推断。
2023-04-16 cs.LG math.ST stat.ML
A Linear-Time Particle Gibbs Sampler for Infinite Hidden Markov Models
无限隐马尔可夫模型（iHMM）是经典隐马尔可夫模型的一个有吸引力的非参数推广，它可以自动推断系统中隐藏状态的数量。然而，由于过渡动力学的无限维性质，在iHMM中执行推断是困难的。在本文中，我们提出了一个无限状态粒子吉布斯（PG）算法重采样状态轨迹的iHMM。该算法使用了一个有效的建议优化iHacking和利用祖先采样来抑制退化的标准PG算法。我们的算法表现出显着的收敛性改善合成和现实世界的数据集。此外，无限状态PG算法在采样器中的状态数方面具有线性时间复杂度，而竞争方法则是二次的。
2015-06-09 stat.ML
Online Learning in Discrete Hidden Markov Models
我们提出并分析了三个在线学习算法的离散隐马尔可夫模型（HALGOR），并比较他们与Baldi-Chauvin算法。使用库尔贝克-莱布勒散度作为概括误差的度量，我们在简化的情况下绘制了学习曲线。分析了其中一种算法学习漂移概念的性能，并与Baldi-Chauvin算法在相同情况下进行了比较。基于我们的研究结果，对学习和对称性破缺进行了简要的讨论。
2007-08-17 stat.ML
On approximation of smoothing probabilities for hidden Markov models
研究了隐马尔可夫模型（HMM）的平滑概率.我们表明，在相当一般的条件下，HMM的指数遗忘仍然成立，平滑概率可以很好地近似双边HMM的。这使得遍历定理成为可能。作为应用，我们考虑逐点最大后验分割，并证明了相应的风险收敛。
2011-05-10 math.ST stat.ML stat.TH
Inference of collective Gaussian hidden Markov models
Georgia Institute of Technology（佐治亚理工学院）
我们考虑一类连续状态集体隐马尔可夫模型的推理问题，其中数据记录在聚合（集体）的形式产生的一个大的人口的个人遵循相同的动态。我们提出了一个聚合推理算法称为集体高斯前向-后向算法，最近提出的Sinkhorn信念传播算法的高斯密度为特征的模型。我们的算法享有收敛保证。此外，当观测值由单个个体生成时，它简化为标准卡尔曼滤波器。通过多次实验证明了该算法的有效性。
2021-07-24 cs.LG cs.SY eess.SP
Learning Hidden Quantum Markov Models
隐量子马尔可夫模型（HQMRM）可以被认为是可以对序列数据建模的量子概率图形模型。我们扩展了以前的工作HQMM有三个贡献：（1）我们展示了如何经典的隐马尔可夫模型（HQMM）可以在量子电路上模拟，（2）我们重新制定HQMM通过放松量子电路上建模HQMM的约束，（3）我们提出了一个学习算法来估计HQMM的参数从数据。虽然我们的算法需要进一步优化以处理更大的数据集，但我们能够使用几个合成数据集来评估我们的算法。我们表明，在HQMM生成的数据上，我们的算法学习HQMM具有与真实HQMM相同数量的隐藏状态和预测精度，而使用Baum-Welch算法学习的HQMM需要更多的状态来匹配预测精度。
2017-10-24 quant-ph stat.ML
Bayesian Nonparametric Hidden Semi-Markov Models
层次狄利克雷过程隐马尔可夫模型（HDP-HMM）作为无处不在的隐马尔可夫模型的自然贝叶斯非参数扩展，用于从序列和时间序列数据中学习，引起了人们的极大兴趣。然而，在许多设置中，HDP-HMM的严格马尔可夫约束是不可取的，特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构，利用显式持续时间的半马尔可夫，这主要是在参数频率论的设置，允许建设高度可解释的模型，承认自然的先验信息状态持续时间。在本文中，我们介绍了显式持续时间层次狄利克雷过程隐半马尔可夫模型（HDP-HSMM），并开发了有效的后验推理的采样算法。我们介绍的方法也提供了新的方法在有限贝叶斯HSMM抽样推断。我们的模块化吉布斯抽样方法可以嵌入到更大的分层贝叶斯模型的采样器中，在贝叶斯推断工具箱中添加半马尔可夫链建模作为另一种工具。我们证明了HDP-HSMM和我们的推理方法在合成和真实实验上的实用性。
2012-09-07 stat.AP stat.ME stat.ML
Generic identification of binary-valued hidden Markov processes
一般的识别问题是决定一个随机过程$(X_t)$是否是一个隐马尔可夫过程，如果是，推断其参数的所有，但一个子集的参数化，形成一个低维的子品种在参数空间。到目前为止，部分答案取决于对过程的额外假设，这些假设通常以平稳性为中心。本文给出了二值隐马尔可夫过程的一般解法。我们的方法是植根于代数统计，因此它是几何的性质。我们发现，与二进制值隐马尔可夫过程的概率分布相关的代数簇是零组的行列式方程，它从代数中引出了与研究对象的连接。因此，我们的解决方案允许基于初等（线性）代数例程的算法实现。
2013-10-22 math.AG math.ST stat.ML
Tech Report A Variational HEM Algorithm for Clustering Hidden Markov Models
University of California, San Diego（加州大学圣地亚哥分校）；City University of Hong Kong（香港城市大学）
隐马尔可夫模型（HMM）是一种生成模型，它在假设每个观测值都以离散隐变量的状态为条件的情况下处理序列数据，该隐变量随时间演变为马尔可夫链。在本文中，我们推导出一种新的算法，通过它们的概率分布聚类的障碍。我们提出了一种分层EM算法，该算法i）将给定的障碍物集合聚类成在它们表示的分布方面相似的障碍物组，以及ii）通过“聚类中心”来表征每个组，即，一种新的HMM，是该集团的代表。我们提出了几个实证研究，说明所提出的算法的好处。
2011-09-06 cs.AI stat.ML
Shannon Entropy Rate of Hidden Markov Processes
隐马尔可夫链是随机过程的广泛应用的统计模型，从基础物理和化学到金融，健康和人工智能。然而，即使链是有限状态，它们产生的隐马尔可夫过程也是非常复杂的：它们的香农熵率不存在有限表达式，因为它们的预测特征集一般是无限的。因此，到目前为止，人们不能对它们的随机性和结构性做出一般性的陈述。在这里，我们通过展示如何有效和准确地计算它们的熵率来解决这一挑战的第一部分。我们还展示了这种方法如何给出无限预测特征的最小集合。续集解决了挑战的第二部分结构。
2020-08-29 cond-mat.stat-mech cs.IT math.DS
