Hamiltonian Monte Carlo for Hierarchical Models
分层建模提供了一个框架,用于对应用统计学中典型问题的复杂交互进行建模。然而,通过捕捉这些关系,层次模型也引入了独特的病理学,这些病理学很快限制了大多数常见推理方法的效率。在本文中,我们探讨了使用哈密顿蒙特卡罗分层模型,并演示了如何在实际应用中克服这些病态的算法。
2013-12-03 stat.ME
Sequential Monte-Carlo testing by betting
提出随时有效的序贯蒙特卡洛检验方法,利用新赌博策略构建检验鞅,支持任意时刻停止且保持优异功效。
2024-12-11 stat.ME
Fast Markov Chain Monte Carlo Algorithms via Lie Groups
从李群的基本考虑,保留了目标的概率测度,我们得到的巴克,大都会,和合奏马尔可夫链蒙特卡罗(MCMC)算法,以及废物回收大都会黑斯廷斯和一个全新的MCMC算法的变体。我们用明确的数值计算来说明这些结构,并且我们在自旋玻璃上凭经验证明新算法比它的兄弟姐妹收敛得更快。
2020-01-27 math.GR math.RA math.ST
Surveillance Testing for Rapid Detection of Outbreaks in Facilities
本文开发了一个基于接触网络的病原体疾病传播模型,以指导小型到中型设施(如养老院和肉类加工厂)的监测测试工作。该模型采用蒙特卡罗模拟接触网络中的病毒传播样本路径。最初的动机是在这些设施中快速检测COVID-19的爆发,但该模型可以应用于任何传染病。特别是,该模式就每天进行多少次测试以及测试顺序对员工或工人的重要性提供了指导。
2021-10-01 q-bio.PE stat.CO
Monte Carlo testing: non-asymptotic guarantees without joint exchangeability
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
研究假设检验中蒙特卡罗检验问题,针对常见计算程序不足,给出有限样本保证。条件是观测数据和副本在给定潜在变量下条件独立同分布,对任意统计量和副本数成立,解释有限样本振荡行为,还为其他推断问题提供见解。
2026-07-28 math.ST stat.ME stat.TH
Tests for exponentiality against NBUE alternatives: a Monte Carlo comparison
各类寿命分布的测试已经在文献中讨论了超过45年。在本文中,我们考虑的问题,测试指数(这基本上意味着没有老化)对积极的老化,这是捕获的相当大的类新的比预期(NBUE)分布。这些测试的指数对NBUE的替代品进行了讨论和比较。通过模拟获得了检验的经验大小。使用蒙特卡罗模拟对不同流行替代方案进行功效比较。这些比较是针对小型和大型样本量进行的。最后,本文讨论了一个特定的替代品被怀疑时,就测试的选择提出了建议。
2012-07-31 stat.CO
Rapid Mixing of Hamiltonian Monte Carlo on Strongly Log-Concave Distributions
我们得到了几个定量界的混合性能的哈密顿蒙特卡罗(HMC)算法的强对数凹目标分布$π$ $\mathbb{R}^{d}$,表明HMC混合快速在这种设置。我们的主要结果之一是一个无量纲的约束上的混合的“理想”的HMC链,这是用来表明,通常的蛙跳实现的HMC可以从$π$样本仅使用$\mathcal{O}(d^{\frac{1}{4}})$梯度评价。这种依赖于尺寸是尖锐的,我们的研究结果显着扩展和改善以前的定量界限混合的HMC。
2017-08-23 math.PR stat.CO stat.ME
MMCTest - A Safe Algorithm for Implementing Multiple Monte Carlo Tests
考虑使用只能通过模拟评估的测试来测试多个假设,例如排列测试或自助测试。本文介绍了MMCTest,一种顺序算法,它以任意高的概率给出与适用于理想p值的特定多重检验程序相同的分类。该方法可以与一类多重检验程序一起使用,其中包括Benjamini & Hochberg错误发现率(FDR)程序和控制Familywise错误率的Bonferroni校正。该算法的一个关键特征是,它停止对所有已经被决定为被拒绝或未被拒绝的假设进行采样。MMCTest可以在任何阶段中断,然后返回三组假设:拒绝的,未拒绝的和未决定的假设。由实际生物数据激发的模拟研究表明,MMCTest在实践中是可用的,尽管有额外的保证,它可以比其他方法更有效的计算。
2014-02-12 stat.ME
Graver basis for an undirected graph and its application to testing the beta model of random graphs
本文给出了简单无向图复曲面理想的Graver基的一个明确的算法描述,并应用此基用马尔可夫链蒙特卡罗方法检验了随机图的Beta模型.
2011-11-30 math.CO math.ST stat.TH
Generalizing Hamiltonian Monte Carlo with Neural Networks
Stanford University(斯坦福大学);Google AI Perception(谷歌人工智能感知部);Google Brain(谷歌大脑)
我们提出了一种通用的方法来训练马尔可夫链蒙特卡罗内核,参数化的深度神经网络,收敛和混合快速到他们的目标分布。我们的方法概括了哈密顿蒙特卡罗,并经过训练以最大化预期的平方跳跃距离(混合速度的代理)。我们在一组简单但具有挑战性的分布上展示了大量的经验增益,例如在一种情况下,有效样本量提高了106倍,而在标准HMC没有取得可测量的进展时,混合在第二种情况下。最后,我们展示了一个现实世界的任务:潜变量生成建模的定量和定性收益。我们发布了该算法的开源TensorFlow实现。
2018-03-02 cs.AI cs.LG stat.ML
Adaptive Stress Testing for Autonomous Vehicles
Stanford University(斯坦福大学);Carnegie Mellon University Silicon Valley(卡内基梅隆大学硅谷校区)
本文提出了一种测试自动驾驶汽车决策系统的方法。我们的方法涉及扰动车辆的环境中的随机元素,直到车辆参与碰撞。而不是应用直接蒙特卡罗采样来寻找碰撞的情况下,我们制定了一个马尔可夫决策过程的问题,并使用强化学习算法,以找到最有可能的失败的情况。本文介绍了可以扩展到大型环境的蒙特卡罗树搜索(MCTS)和深度强化学习(DRL)解决方案。我们表明,DRL可以找到更可能的故障情况比MCTS与较少的调用模拟器。一个涉及车辆接近人行横道的仿真场景被用来验证该框架。我们提出的方法是非常普遍的,可以很容易地应用到其他场景给定的车辆和环境的适当模型。
2019-02-05 cs.AI cs.LG cs.RO
A Monte Carlo comparison of categorical tests of independence
$X^2$和$G^2$检验是检验两个分类变量独立性的最常用检验。然而,据我们所知,没有人对它们进行过广泛的比较,并最终回答了使用哪种方法以及何时使用的问题。此外,它们在零频率的情况下的适用性已被辩论和(非参数)排列测试建议。在这项工作中,我们进行了广泛的蒙特卡罗模拟研究,试图回答上述两点。正如预期,在大样本量病例($>1,000$)中,$X^2$和$G^2$无法区分。然而,在小样本量的情况下($\leq 1,000$),我们提供了强有力的证据,支持使用$X^2$测试,无论零频率的情况下,无条件的独立性。此外,我们建议使用的置换为基础的$G^2$测试条件的独立性,在计算上更昂贵的成本。$G^2$试验表现出较差的性能,应限制其使用。
2020-04-02 stat.ME stat.OT
Split Hamiltonian Monte Carlo
我们展示了如何哈密顿蒙特卡罗算法有时可以加快“分裂”的哈密尔顿的方式,允许大部分的运动在状态空间中以低的计算成本。这是可能的一个上下文是当感兴趣的分布的对数密度(势能函数)可以被写为高斯密度的对数时,高斯密度是二次函数,加上缓慢变化的函数。二次能量函数的哈密顿动力学可以解析求解。使用分裂技术,只有能量的缓慢变化部分需要进行数值处理,并且这可以用比直接模拟动力学所需的更大的步长(因此更少的步长)来完成。另一种情况下,分裂的帮助是当最重要的项的势能函数和它的梯度可以快速评估,只有一个缓慢变化的部分需要昂贵的计算。通过拆分,快速部分可以用较小的步长处理,而昂贵的部分使用较大的步长。我们表明,这两种分裂方法可以减少计算成本的采样从后验分布的逻辑斯谛回归模型,使用高斯近似集中在后验模式,或汉密尔顿分裂成一个术语,只依赖于少数的关键情况下,和另一个术语,涉及大量的情况下,其对后验分布的影响是小的。本文件的补充材料可在网上查阅。
2012-07-14 stat.CO
Testing MCMC code
University of Toronto(多伦多大学);Harvard University(哈佛大学)
马尔可夫链蒙特卡罗(MCMC)算法是概率建模和推理的主力,但很难调试,如果天真地实现,很容易出现无声的失败。我们概述了几种策略来测试MCMC算法的正确性。具体来说,我们提倡以模块化的方式编写代码,其中条件概率计算与采样器的逻辑分离。我们讨论了单元测试和集成测试的策略。作为一个运行的例子,我们展示了如何测试混合高斯模型的吉布斯采样的Python实现。
2014-12-16 cs.LG cs.SE stat.ML
Testing for equality between two transformations of random variables
考虑被两个未知变换污染的两个随机变量。本文的目的是测试这些转换的平等性。区分两种情况:第一,两个随机变量具有已知的分布。第二,它们是未知的,但在污染之前被观察到。本文提出了一种基于经验累积分布函数的非参数检验统计量。进行蒙特卡罗研究以分析检验的水平和功效。通过一个真实的数据集的说明。
2011-10-31 stat.ME
Testing conditional independence via Rosenblatt transforms
本文提出了两个随机变量在含有未知有限维参数的单指标下条件独立性的新检验。测试采用Rosenblatt变换,并被证明是分布免费的,同时保留计算方便。从Monte Carlo模拟的一些结果,并进行了讨论。
2009-11-19 math.ST stat.TH
Properties of Quick Simulation Random Fields
本文介绍并研究了一类新的离散随机场,它是为非齐次条件下的快速模拟和协方差推断而设计的。这些相关场的模拟可以在单通道中完成,而不是依赖于多通道收敛方法,如吉布斯采样器或其他马尔可夫链蒙特卡罗方法。这些场直接根据指定的边缘概率质量函数和协方差构建。该构造所基于的命题确定了在给定其他站点的情况下,何时以及如何能够简化每个站点的条件概率,从而使得模拟非常可行,同时保持站点之间的期望边际概率和协方差。这些相关领域的特殊情况已成功地部署在数据认证,目标检测和图像生成。必须施加的协方差和边际概率,以使算法的工作的限制进行了研究。并给出了相关随机场具有置换性质的一个充要条件。特别地,马尔可夫随机场作为相关随机场的一个子类,由一般的自然条件导出。因此,一个直接和灵活的单遍算法模拟马尔可夫随机场如下。
2012-12-04 math.PR stat.CO
Retrospective Economic Evaluation of Group Testing in the COVID-19 Pandemic
Bielefeld University(比勒费尔德大学)
本文提出了一种结合确定性成本和基于收入的经济损失的数学模型,用于评估群体检测的经济影响,发现考虑收入损失时最优算法选择会发生变化,且短周期算法更受青睐。
2026-03-30 econ.EM econ.GN q-bio.QM
A Sequential Scheme for Large Scale Bayesian Multiple Testing
大规模多重检验的问题出现在许多情况下,包括测试大量神经元之间的成对相互作用。随着技术的进步,同时记录数百个神经元已经变得很常见,而且这个数字正在快速增长,因此成对测试的数量可以非常大。重要的是控制假阳性发生的比率。此外,有时存在影响任何给定配对的阳性结果的概率的信息。在神经元的情况下,当它们靠近在一起时,当它们对各种刺激做出相似的反应时,它们更有可能具有相关的活动。最近开发了一种方法来控制假阳性时,协变量信息,如神经元对之间的距离,是可用的。然而,该方法依赖于计算密集型的马尔可夫链蒙特卡罗(MCMC)。在这里,我们开发了一种替代方案,基于序贯蒙特卡罗,它与数据集的大小很好地扩展。该方案按顺序考虑数据项,在每一步更新相关概率。仿真实验表明,所提出的算法提供的结果一样准确,以前的MCMC方法,只有一个单一的通过数据。我们说明了使用它来分析猕猴的纹外皮层的神经记录的方法。
2017-11-01 stat.CO
Testing Consistency of Two Histograms
几种方法来测试的假设,两个直方图是从相同的分布进行了研究。我们注意到,单样本连续分布检验可以适用于这种双样本分组数据的情况。在一般情况下,没有一个完全指定的零假设的困难是一个重要的考虑因素,在用“玩具”蒙特卡罗模拟估计概率时需要小心。比较几种常见测试的性能;没有一种测试在所有情况下都表现最好。
2008-04-02 hep-ex physics.data-an stat.ME
A New Framework for Online Testing of Heterogeneous Treatment Effect
我们提出了一个新的框架,在线测试异质性处理效应。所提出的测试,命名为序贯得分测试(SST),能够控制第一类错误的连续监测和检测多维异质性处理效应。我们为SST提供了一个在线p值计算,使其便于连续监测,并通过控制错误发现率将我们的测试扩展到在线多重检验设置。我们研究的实证性能的测试,并将它们与一个国家的最先进的在线测试,命名为mSPRT使用模拟和真实数据。结果表明,我们提出的测试控制第一类错误在任何时候,有较高的检测能力,并允许快速推断在线A/B测试。
2020-02-09 stat.AP stat.ME