A Simple Explanation of A Spectral Algorithm for Learning Hidden Markov Models
MIT（麻省理工学院）
在“A Spectral Algorithm for Learning Hidden Markov Models”（COLT 2009）中对该算法进行了简单的线性代数解释。大部分内容都在图2中;文本只是在四个几乎微不足道的声明中使一切都变得精确。
2012-04-11 cs.LG stat.ME stat.ML
Comparative Analysis of the Hidden Markov Model and LSTM: A Simulative Approach
UCLA University（加州大学洛杉矶分校）
时间序列和序列数据最近得到了极大的关注，因为许多现实世界中的各种领域，如金融，教育，生物和工程过程可以建模为时间序列。虽然许多算法和方法，如卡尔曼滤波器，隐马尔可夫模型和长短期记忆（LSTM）被提出来对数据进行推断和预测，但它们的使用在很大程度上取决于应用，问题类型，可用数据以及足够的准确性或损失。在本文中，我们比较了监督和无监督隐马尔可夫模型与LSTM在训练所需的数据量，复杂性和预测准确性方面的差异。此外，我们提出了各种技术来离散化的意见，并将问题转化为一个离散的隐马尔可夫模型在平稳和非平稳的情况下。我们的研究结果表明，当大量标记数据不可用时，即使是无监督的隐马尔可夫模型也可以优于LSTM。此外，我们表明，隐马尔可夫模型仍然可以是一个有效的方法来处理的序列数据，即使在一阶马尔可夫假设不满足。
2020-08-09 cs.LG stat.ML
Infinite Structured Hidden Semi-Markov Models
本文综述了贝叶斯非参数技术在无穷隐马尔可夫模型中构造和推理的最新进展。我们专注于贝叶斯非参数隐马尔可夫模型，特别是增强后验状态持久性的变种。本文还介绍了一种新的贝叶斯非参数框架，用于生成从左到右和其他结构化的，显式持续时间的无限隐马尔可夫模型，我们称之为无限结构化隐半马尔可夫模型。
2014-06-30 stat.AP stat.ME stat.ML
Hidden Markov Neural Networks
ESOMAS, University of Torino（都灵大学ESOMAS学院）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；School of Mathematics, University of Bristol（布里斯托大学数学学院）
该研究提出隐马尔可夫神经网络，将网络权重建模为隐马尔可夫模型隐状态，结合序列反向传播贝叶斯与变分DropConnect，在多任务上实现了优异预测性能与有效不确定性量化。
2025-01-16 cs.LG stat.ML
Market forecasting using Hidden Markov Models
本文以欧元/美元期货的日收盘价和对数收益率为研究对象，利用隐马尔可夫模型（HMRM）对欧元/美元期货的价格进行预测。我们的工作的目的是要了解如何描述不同的金融时间序列，根据其结构的障碍。随后，我们分析了在以前的文献中暴露的预测方法，把证据的优点和缺点。
2016-05-06 cs.LG stat.ML
A Spectral Algorithm for Inference in Hidden Semi-Markov Models
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
隐半马尔可夫模型（HSMM）是允许潜在状态持久性的潜在变量模型，可以被视为流行的隐马尔可夫模型（HHMM）的推广。在本文中，我们介绍了一种新的谱算法进行推理HSMM。不同于期望最大化（EM），我们的方法正确估计的概率给定的观察序列的基础上的一组训练序列。我们的方法是基于估计的时刻从样本，其维数仅依赖于数学上的隐藏状态持久性的最大长度。此外，该算法只需要几个矩阵求逆，因此计算效率高。对合成数据和真实数据的实证评估表明，该算法在速度和精度方面优于EM，特别是对于大数据集。
2016-02-29 cs.LG stat.ML
Geographical Hidden Markov Tree for Flood Extent Mapping (With Proof Appendix)
University of Alabama（阿拉巴马大学）
洪水范围测绘在灾害管理和国家水资源预测方面发挥着至关重要的作用。然而，传统的分类方法往往受到噪声、障碍物、光谱特征的异质性以及类标签间隐含的各向异性空间依赖性等因素的影响。在本文中，我们提出了地理隐马尔可夫树，概率图形模型，推广了常见的隐马尔可夫模型从一维序列到二维的地图。各向异性的空间依赖性被合并在具有反向树结构的隐藏类层中。我们还研究了逆向树构造，模型参数学习和类推理的计算算法。对合成和真实世界数据集的广泛评估表明，该模型在洪水映射中优于多个基线，并且我们的算法在大数据量上具有可扩展性。
2018-05-24 cs.LG stat.ML
SpaMHMM: Sparse Mixture of Hidden Markov Models for Graph Connected Entities
INESC TEC（INESC TEC（葡萄牙系统与计算机工程研究所））；University of Porto（波尔图大学）
我们提出了一个框架来模拟分布的顺序数据来自一组实体连接在一个已知的拓扑图。该方法是基于共享的隐马尔可夫模型的混合物（HALGOR），这是联合训练，以利用图形结构的知识，并在这样一种方式，获得的混合物往往是稀疏的。在不同应用领域的实验表明了该方法的有效性和通用性。
2019-03-31 cs.LG stat.ML
Short-Term Wind-Speed Forecasting Using Kernel Spectral Hidden Markov Models
The University of Electro-Communications（电气通信大学）
在机器学习中，提出了一种用于时间序列数据的非参数预测算法，称为核谱隐马尔可夫模型（KSHMM）。在本文中，我们提出了一种基于KSHMM的短期风速预测技术。我们使用国家可再生能源实验室提供的风速数据，将我们基于KSHMM的预测技术与其他机器学习技术的性能进行了数值比较。我们的研究结果表明，与这些方法相比，所提出的技术提供了相当或更好的性能。
2018-11-15 cs.LG stat.ML
Advanced posterior analyses of hidden Markov models: finite Markov chain imbedding and hybrid decoding
National Centre for Register-based Research, Department of Public Health, Aarhus University（丹麦奥胡斯大学公共卫生系注册基于研究国家中心）；Bioinformatics Research Centre, Aarhus University（丹麦奥胡斯大学生物信息学研究中心）；Section for Evolutionary Genomics, Globe Institute, University of Copenhagen（丹麦哥本哈根大学全球研究所进化基因组学部门）；Department of Mathematics, Aarhus University（丹麦奥胡斯大学数学系）
本文提出有限马尔可夫链嵌入与混合解码方法，分别用于计算隐马尔可夫模型隐状态汇总统计量的后验分布和改进解码性能，并引入调谐参数选择新程序，在经典数据集上验证了优越性。
2025-04-21 cs.LG stat.ML
Optimized Hidden Markov Model based on Constrained Particle Swarm Optimization
University Lumiere of Lyon 2（里昂第二吕米埃大学）；Chengdu University（成都大学）
隐马尔可夫模型（HMM）作为贝叶斯分析工具之一，已经得到了广泛的应用。大多数Hyngeal问题都是通过Baum-Welch算法（BWHMM）来预测模型参数，难以找到全局最优解。本文提出了一种基于粒子群优化算法的隐马尔可夫模型（PSOHMM）。为了克服隐马尔可夫模型中的统计约束，本文提出了重规范化和重映射机制来保证隐马尔可夫模型中的约束。实验结果表明，PSOHMM比BWHMM能更好地搜索解，且收敛速度更快。
2018-11-07 cs.LG stat.ML
Stochastic Collapsed Variational Inference for Hidden Markov Models
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。在本文中，我们提出了一个随机折叠变分推断算法的隐马尔可夫模型，在一个序列数据设置。给定一个崩溃的隐马尔可夫模型，我们将它的长马尔可夫链分解成一组短的子链。我们提出了一种新的和积算法来更新子链的后验，考虑到它们的边界过渡，由于顺序依赖。我们在两个离散数据集上的实验表明，我们的折叠算法是可扩展的非常大的数据集，内存效率和显着更准确的比现有的uncollapsed算法。
2015-12-05 stat.ML
Modeling disease progression in longitudinal EHR data using continuous-time hidden Markov models
McGill University（麦吉尔大学）
在医疗保健管理数据库中建模疾病进展是复杂的，因为当患者寻求医疗保健服务时，仅以不规则的间隔观察患者。在76，888例慢性阻塞性肺疾病（COPD）患者的纵向队列中，我们使用连续时间隐马尔可夫模型和广义线性模型对医疗保健利用事件进行建模。我们发现，拟合模型提供了可解释的结果，适合总结和假设生成。
2018-12-03 cs.LG q-bio.PE stat.ML
Replica Analysis of the Linear Model with Markov or Hidden Markov Signal Priors
University of Cambridge（剑桥大学）
本文采用统计物理中的复本方法，估计了信源为马尔可夫链或隐马尔可夫模型的线性模型的自由能、平均互信息与MMSE，证明其可解耦为带状态信息的单输入AWGN信道，且数值结果与现有算法结果高度吻合。
2023-07-25 cs.IT cs.LG math.IT
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University（巴黎第十三大学）；IFSTTAR（法国交通与安全科学技术研究所）；Heudiasyc Lab（Heudiasyc实验室）
本文介绍了一种新的基于模型的聚类方法聚类时间序列，目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化（EM）算法采用极大似然法进行。所提出的方法进行评估，使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法，包括高斯混合的标准EM，$K$均值聚类，标准混合回归模型和混合隐马尔可夫模型的比较，证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
A Linear-Time Particle Gibbs Sampler for Infinite Hidden Markov Models
无限隐马尔可夫模型（iHMM）是经典隐马尔可夫模型的一个有吸引力的非参数推广，它可以自动推断系统中隐藏状态的数量。然而，由于过渡动力学的无限维性质，在iHMM中执行推断是困难的。在本文中，我们提出了一个无限状态粒子吉布斯（PG）算法重采样状态轨迹的iHMM。该算法使用了一个有效的建议优化iHacking和利用祖先采样来抑制退化的标准PG算法。我们的算法表现出显着的收敛性改善合成和现实世界的数据集。此外，无限状态PG算法在采样器中的状态数方面具有线性时间复杂度，而竞争方法则是二次的。
2015-06-09 stat.ML
Online Learning in Discrete Hidden Markov Models
我们提出并分析了三个在线学习算法的离散隐马尔可夫模型（HALGOR），并比较他们与Baldi-Chauvin算法。使用库尔贝克-莱布勒散度作为概括误差的度量，我们在简化的情况下绘制了学习曲线。分析了其中一种算法学习漂移概念的性能，并与Baldi-Chauvin算法在相同情况下进行了比较。基于我们的研究结果，对学习和对称性破缺进行了简要的讨论。
2007-08-17 stat.ML
Inference of collective Gaussian hidden Markov models
Georgia Institute of Technology（佐治亚理工学院）
我们考虑一类连续状态集体隐马尔可夫模型的推理问题，其中数据记录在聚合（集体）的形式产生的一个大的人口的个人遵循相同的动态。我们提出了一个聚合推理算法称为集体高斯前向-后向算法，最近提出的Sinkhorn信念传播算法的高斯密度为特征的模型。我们的算法享有收敛保证。此外，当观测值由单个个体生成时，它简化为标准卡尔曼滤波器。通过多次实验证明了该算法的有效性。
2021-07-24 cs.LG cs.SY eess.SP
Learning Hidden Quantum Markov Models
隐量子马尔可夫模型（HQMRM）可以被认为是可以对序列数据建模的量子概率图形模型。我们扩展了以前的工作HQMM有三个贡献：（1）我们展示了如何经典的隐马尔可夫模型（HQMM）可以在量子电路上模拟，（2）我们重新制定HQMM通过放松量子电路上建模HQMM的约束，（3）我们提出了一个学习算法来估计HQMM的参数从数据。虽然我们的算法需要进一步优化以处理更大的数据集，但我们能够使用几个合成数据集来评估我们的算法。我们表明，在HQMM生成的数据上，我们的算法学习HQMM具有与真实HQMM相同数量的隐藏状态和预测精度，而使用Baum-Welch算法学习的HQMM需要更多的状态来匹配预测精度。
2017-10-24 quant-ph stat.ML
Bayesian Nonparametric Hidden Semi-Markov Models
层次狄利克雷过程隐马尔可夫模型（HDP-HMM）作为无处不在的隐马尔可夫模型的自然贝叶斯非参数扩展，用于从序列和时间序列数据中学习，引起了人们的极大兴趣。然而，在许多设置中，HDP-HMM的严格马尔可夫约束是不可取的，特别是如果我们希望学习或编码非几何状态持续时间。我们可以扩展的HDP-HMM捕捉这样的结构，利用显式持续时间的半马尔可夫，这主要是在参数频率论的设置，允许建设高度可解释的模型，承认自然的先验信息状态持续时间。在本文中，我们介绍了显式持续时间层次狄利克雷过程隐半马尔可夫模型（HDP-HSMM），并开发了有效的后验推理的采样算法。我们介绍的方法也提供了新的方法在有限贝叶斯HSMM抽样推断。我们的模块化吉布斯抽样方法可以嵌入到更大的分层贝叶斯模型的采样器中，在贝叶斯推断工具箱中添加半马尔可夫链建模作为另一种工具。我们证明了HDP-HSMM和我们的推理方法在合成和真实实验上的实用性。
2012-09-07 stat.AP stat.ME stat.ML
The Partially Observable Hidden Markov Model and its Application to Keystroke Dynamics
部分可观测隐马尔可夫模型是隐马尔可夫模型的扩展，其中隐状态是以独立的马尔可夫链为条件的。这种结构的动机是离散元数据的存在，如事件类型，可以部分揭示隐藏的状态，但本身来自一个单独的过程。这样的场景在用户动态中遇到，由此用户的键入行为取决于键入的文本。在用户可以处于主动或被动打字状态的假设下，键盘键名是部分揭示隐藏状态的事件类型，这是由于单词和句子之间的时间间隔比单词的字母之间的时间间隔相对较长。使用五个公共数据集，所提出的模型被证明是一贯优于其他异常检测器，包括标准的HMM，在生物识别和验证任务，并通常优于HMM在蒙特卡洛拟合优度测试。
2017-11-20 cs.CR cs.IT math.IT
Tech Report A Variational HEM Algorithm for Clustering Hidden Markov Models
University of California, San Diego（加州大学圣地亚哥分校）；City University of Hong Kong（香港城市大学）
隐马尔可夫模型（HMM）是一种生成模型，它在假设每个观测值都以离散隐变量的状态为条件的情况下处理序列数据，该隐变量随时间演变为马尔可夫链。在本文中，我们推导出一种新的算法，通过它们的概率分布聚类的障碍。我们提出了一种分层EM算法，该算法i）将给定的障碍物集合聚类成在它们表示的分布方面相似的障碍物组，以及ii）通过“聚类中心”来表征每个组，即，一种新的HMM，是该集团的代表。我们提出了几个实证研究，说明所提出的算法的好处。
2011-09-06 cs.AI stat.ML
Shannon Entropy Rate of Hidden Markov Processes
隐马尔可夫链是随机过程的广泛应用的统计模型，从基础物理和化学到金融，健康和人工智能。然而，即使链是有限状态，它们产生的隐马尔可夫过程也是非常复杂的：它们的香农熵率不存在有限表达式，因为它们的预测特征集一般是无限的。因此，到目前为止，人们不能对它们的随机性和结构性做出一般性的陈述。在这里，我们通过展示如何有效和准确地计算它们的熵率来解决这一挑战的第一部分。我们还展示了这种方法如何给出无限预测特征的最小集合。续集解决了挑战的第二部分结构。
2020-08-29 cond-mat.stat-mech cs.IT math.DS
