Efficient Bayesian Structural Equation Modeling in Stan
结构方程模型包括一大类流行的统计模型，包括因子分析模型、某些混合模型及其扩展。模型估计是复杂的，因为我们通常有多个相互依赖的响应变量和多个潜变量（也可以称为随机效应或隐藏变量），通常导致缓慢和低效的MCMC样本。在本文中，我们描述并说明了一种在Stan中进行贝叶斯SEM估计的通用有效方法，并将其与R包blavaan中以前的实现进行了对比（Merkle & Rosseel，2018）。在详细描述了这些方法之后，我们在多个场景下进行了实际比较。比较表明，新方法显然更好。我们还讨论了这种方法可以扩展到其他模型，心理测量学家感兴趣的方式。
2020-08-18 stat.CO
hmmTMB: hidden Markov models with flexible covariate effects in R
本研究推出R包hmmTMB，支持隐马尔可夫模型中隐状态与观测参数的灵活协变量效应，含惩罚样条、随机效应等功能，适配多类数据与非标准依赖结构，并通过动物追踪示例展示其工作流。
2025-05-21 stat.CO stat.ME
Bayesian Non-Homogeneous Markov Models via Polya-Gamma Data Augmentation with Applications to Rainfall Modeling
离散时间隐马尔可夫模型是一类广泛使用的潜变量模型，在语音识别、生物信息学和气候数据分析等领域有着广泛的应用。在实践中，通过多项式逻辑参数化使转移概率依赖于随时间变化的外部输入变量，从而将时间非均匀性引入此类模型中是常见的。我们扩展这样的模型，引入额外的非均匀性的排放分布使用广义线性模型（GLM），与数据扩增的采样为基础的推理。然而，在状态转换模型中的逻辑函数的存在显着复杂的参数推断的整体模型，特别是在贝叶斯上下文中。为了解决这个问题，我们扩展了最近提出的Polya-Gamma数据增强方法来处理非齐次隐马尔可夫模型（NHMM），允许开发一个有效的马尔可夫链蒙特卡罗（MCMC）采样方案。我们将我们的模型和推理方案应用于印度30年的日降雨量，从而对该地区与气候相关的现象产生了一些见解。我们提出的方法允许完全贝叶斯分析的规模相对复杂的NH 4S，这是不可能与以前的方法。实现本文所述方法的软件可通过R包NHMM获得。
2017-01-13 stat.AP stat.ML
VARCLUST: clustering variables using dimensionality reduction
VARCLUST算法是在假设给定聚类中的变量是被随机噪声破坏的少量隐变量的线性组合的情况下提出的。整个聚类任务被看作是选择的统计模型，这是由集群的数量，划分到这些集群的变量和“集群维数”，即向量的线性子空间跨越每个集群的尺寸定义的问题。最佳模型的选择使用近似贝叶斯准则的基础上的拉普拉斯近似和使用一个无信息的均匀先验的聚类数。为了解决在一个巨大的空间的可能的模型搜索的问题，我们提出了一个扩展的ClustOfVar算法，这是专门为子空间的维度只有1，这是类似的结构的$K$ -质心算法。我们提供了一个完整的方法与理论保证，广泛的数值实验，完整的数据分析和实施。该算法基于一致的贝叶斯信息准则（BIC）将变量分配到合适的聚类中，并通过PENALized SEmi-integrated Likestive准则（PESEL）估计每个聚类的维数，并证明了PESEL准则的一致性。此外，我们证明了我们的算法的每一次迭代导致增加的拉普拉斯近似的模型后验概率和提供的标准估计的集群的数量。与其他算法的数值比较表明，VARCLUST可能优于一些流行的机器学习工具的稀疏子空间聚类。我们还报告了实际数据分析的结果，包括TCGA乳腺癌数据和气象数据。所提出的方法在公开可用的R包变量中实现。
2020-12-18 stat.AP stat.CO
MSTest: An R-Package for Testing Markov Switching Models
本文介绍了R包MSTest，它通过实现多种假设检验程序来识别马尔可夫切换模型中的状态数量，并支持利用EM算法或MLE模拟与估计相关过程，最后通过实验和实际数据验证了其功能。
2024-11-12 econ.EM stat.CO stat.ME
label.switching: An R Package for Dealing with the Label Switching Problem in MCMC Outputs
标签转换是混合或隐马尔可夫模型贝叶斯估计中的一个众所周知的基本问题。如果模型参数的先验分布对于所有状态都是相同的，则似然和后验分布对于参数的排列都是不变的。这一性质使得从后验分布模拟的马尔可夫链蒙特卡罗（MCMC）样本不可识别。本文介绍了\pkg{label.switching}软件包。它包含一个概率和七个确定性的重新标记算法，以便后处理用户提供的给定MCMC样本。每个方法都返回一组可用于对MCMC输出进行重新排序的排列。然后，可以使用重新排序的MCMC样本来推断任何感兴趣的参数函数。一组用户定义的排列也被接受，允许研究人员对新的重新标记方法进行基准测试
2015-03-08 stat.CO
Cluster Weighted Model Based on TSNE algorithm for High-Dimensional Data
University of Milano-Bicocca（米兰比可卡大学）
与许多机器学习模型类似，聚类加权模型（CWM）的准确性和速度都可能受到高维数据的阻碍，导致以前的工作是一种简约的技术来减少“维数诅咒”对混合模型的影响。在这项工作中，我们回顾了集群加权模型（CWM）的背景研究。我们进一步表明，简约的技术是不够的混合模型蓬勃发展的存在下，巨大的高维数据。我们讨论了一个启发式的检测隐藏的组件，通过选择位置参数的初始值使用的默认值在“FlexCWM”R包。我们引入了一种降维技术，称为T-分布随机邻居嵌入（TSNE），以提高在高维空间的简约CWM。最初，CWM适用于回归，但为了分类目的，所有多类变量都被转换为带有一些噪声的几何变换。模型参数采用期望最大化算法求解。使用来自不同领域的真实数据集证明了所讨论的技术的有效性。
2022-08-02 cs.HC cs.LG stat.ML
Dynamic Stochastic Blockmodel Regression for Network Data: Application to International Militarized Conflicts
社会科学研究的一个主要目标是了解潜在群体成员如何预测网络演化的动态过程。例如，在对国际军事化冲突进行建模时，学者们假设地缘政治联盟的成员资格塑造了参与冲突的决定。这些理论解释了节点和二元特征如何通过对群体成员的影响，影响冲突模式随时间的演变。为了帮助这些参数的实证检验，我们开发了一个动态模型的网络数据相结合的隐马尔可夫模型与混合成员随机块模型，确定潜在的群体的网络结构。与现有的模型不同，我们将预测动态节点成员的潜在群体，以及直接形成的二元之间的边缘的协变量。虽然以前的实质性研究往往假设参与国际军事化冲突的决定是独立的国家和静态随着时间的推移，我们表明，冲突是由国家的地缘政治集团不断变化的成员。民主等一元协变量的变化会在联盟之间转移状态，随着时间的推移和国家之间的冲突产生异质性影响。所提出的方法，它依赖于一个变分近似的崩溃后验分布以及随机最优化的可扩展性，是通过一个开源软件包实现的。
2021-10-25 cs.SI stat.AP
Hidden Markov Models with mixtures as emission distributions
AgroParisTech（巴黎农科院）；INRA（法国国家农业食品与环境研究院）；UEVE（埃夫里大学）；CNRS（法国国家科学研究中心）
在无监督分类中，隐马尔可夫模型（HMM）用于解释观测之间的邻域结构。通常假设发射分布属于某个参数族。在本文中，半参数建模的排放分布是一个混合的参数分布，提出了获得更高的灵活性。我们表明，经典的期望最大化算法可以适用于推断模型参数。对于初始化步骤，从大量的组件开始，提出了一种分层的方法将它们组合成隐藏状态。三个可能性为基础的标准来选择要结合的组件进行了讨论。为了估计隐藏状态的数量，推导出类似BIC的准则。通过仿真研究，确定了融合准则和模型选择准则的最佳组合，并对分类精度进行了评估。所提出的方法也说明了使用从模式植物拟南芥的生物数据集。一个R包HMMmix在CRAN上免费提供。
2012-06-22 cs.LG stat.CO stat.ML
Efficient Markov Chain Monte Carlo Sampling for Hierarchical Hidden Markov Models
传统的马尔可夫链蒙特卡罗（MCMC）隐马尔可夫模型（Hidden Markov Models，HMM）采样涉及潜在状态下的一个不完美的观察过程，并产生后验样本的顶层参数同时滋扰潜在变量.当潜在的许多HALTERNATIONAL被嵌入到分层模型中时，这可能导致MCMC运行时间过长。我们研究了现有方法的组合，这些方法大大提高了这些分层模型的计算效率，同时保持了嵌入式HSPs提供的建模灵活性。该方法包括离散过滤的HMM可能性，以消除潜在的状态，减少数据表示，和一个新的程序后维动态块采样。前两种方法已经在现有的专用软件中单独使用，但通常不适用于任意模型结构。使用R的NIMBLE包，我们使用生态捕获-再捕获的三个示例开发和测试组合计算方法，尽管我们的方法通常适用于任何嵌入式离散HMM。这些组合提供了MCMC抽样效率的几个数量级的改进，采样效率定义为生成有效独立后验样本的速率。除了对于这类分层模型在计算上是重要的之外，该结果强调了MCMC抽样效率的巨大改进的潜力，其可以由已知算法的组合产生。
2016-01-12 stat.CO
Exact inference for a class of non-linear hidden Markov models on general state spaces
隐马尔可夫模型的精确推理需要评估所有感兴趣的分布-过滤，预测，平滑和似然-以有限的计算工作量。本文给出了一般状态空间上一类隐马尔可夫模型的精确推断的充分条件，给出了一组离散收集的与信号非线性相关的间接观测值，并给出了一组实用的推断算法。我们得到的条件是与存在某种类型的对偶过程，这是一个辅助过程中嵌入的时间反转的信号，这反过来又允许代表的分布和功能的兴趣作为有限的混合物的基本密度或产品。我们明确地描述了如何递归地更新所涉及的参数，产生定性类似的结果与有限状态空间上的Baum-Welch滤波器。然后，我们提供了实用的算法，用于实现的递归，以及通过一个明智的修剪的混合物的近似，我们表现出优越的性能，粒子滤波器的准确性和计算效率。最佳滤波、平滑和参数推断的代码在Julia包DualOptimalFiltering中提供。
2020-06-10 math.ST stat.CO stat.TH
A gentle tutorial on accelerated parameter and confidence interval estimation for hidden Markov models using Template Model Builder
估计隐马尔可夫模型（HMM）的参数的一种非常常见的方式是相对简单的极大似然（ML）估计的计算。对于这项任务，大多数用户依赖于通过解释型编程语言（如统计软件环境R（R核心团队，2021年））对估计例程的用户友好实现。这种方法很容易需要耗时的计算，特别是对于较长的观测序列。此外，选择用于导出估计参数的置信区间的合适方法并不完全明显（参见，例如，西葫芦等人，2016; Lystig和Hughes，2002; Visser等人，2000），并且通常必须应用计算密集的引导方法。在本教程中，我们将演示如何通过R包TMB显著加快ML估计的计算速度。此外，该方法允许同时简单地检索标准误。我们说明了我们的例程使用不同的数据集的性能。首先，来自耳鸣患者的移动应用程序的两个较小的样本和一个众所周知的胎羊运动数据集，分别具有87和240个数据点。其次，我们依赖于更大的模拟数据集，大小为2000和5000，以进行进一步的分析。本教程附带了一系列脚本，这些脚本都可以在GitHub上找到。这些脚本允许任何具有中等编程经验的用户快速受益于TMB的计算优势。
2022-05-07 stat.CO
Infinite Mixture Models for Improved Modeling of Across-Site Evolutionary Variation
针对跨位点进化变异建模中先验划分难的问题，研究多种无限混合模型并适配高效算法与并行计算，在BEAST X中实现框架，发现不同模型适配不同病毒数据集场景。
2024-12-08 q-bio.PE stat.ME
Hole or grain? A Section Pursuit Index for Finding Hidden Structure in Multiple Dimensions
多变量数据通常使用线性投影来可视化，线性投影由诸如主成分分析、线性判别分析和投影追踪之类的技术产生。投影的一个问题是，它们掩盖了分布中心附近的低密度和高密度区域。切片或切片可以帮助揭示它们。本文在投影寻踪的基础上，提出了一种分段寻踪方法，用于搜索数据中感兴趣的切片。线性投影用于定义参数空间的部分，并通过比较部分内部和外部的观察分布来计算兴趣度。通过优化该指数，可以揭示孔（低密度）或颗粒（高密度）等特征。优化被纳入一个导游，使结构搜索可以是动态的。该方法可以用于数据分布偏离均匀或正态分布的问题，如在视觉上探索非线性流形和多变量空间中的函数。给出了分段追踪的两个应用：从分类模型中探索决策边界，从多参数模型中探索由复杂不等式条件诱导的子空间。新方法在R中可用，在tourr包中。
2022-03-10 hep-ex stat.CO
LISA: a MATLAB package for Longitudinal Image Sequence Analysis
Eli Lilly and Company（礼来公司）；Cleveland Clinic Lerner Research Institute（克利夫兰诊所勒纳研究所）；Amazon.com, Inc.（亚马逊公司）；Case Western Reserve University（凯斯西储大学）
现在可以以前所未有的规模获得大序列图像（或电影），这对现有的图像分析技术提出了根本性的挑战。挑战包括异质性、（自动）对齐、多重比较、潜在伪影和隐藏噪声。本文介绍了我们的MATLAB软件包，纵向图像序列分析（LISA），作为一个一站式的集成图像处理和分析工具，比较一般类的图像从不同的时间，会话，或主题。给定两个对比图像序列，LISA中的图像处理从在两个代表性图像中选择感兴趣区域开始，然后进行自动或手动分割和配准。自动分割使用像素强度值的混合高斯分布对图像进行去噪，而手动分割应用用户选择的强度截止值来滤除噪声。自动配准基于中线回归对齐对比图像，而手动配准沿着由两个用户选择的点形成的参考线对齐图像。然后，处理后的图像被渲染用于同时进行统计比较，以生成D、S、T和P图。D图表示对比图像的策划差异，S图是非参数化平滑差异，T图表示方差调整的平滑差异，P图提供多重性控制的p值。这些图显示了由于纵向、受试者特异性或治疗变化而具有显著差异的区域。如果图像已经被处理，则用户可以跳过图像处理步骤以直接进入统计分析步骤。因此，LISA提供了应用其他图像预处理工具的灵活性。LISA还为高清图像提供了并行计算选项。
2019-02-16 cs.CV eess.IV stat.CO
Stable and practical semi-Markov modelling of intermittently-observed data
本文提出用受限 phase-type 分布和矩匹配将半 Markov 多状态模型转化为隐 Markov 模型，并在 R 包 msmbayes 中支持通用状态结构下的 Bayesian 与最大似然推断。
2025-08-28 stat.CO stat.ME
