Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation
University of Cambridge(剑桥大学)
本文提出一种快速变分贝叶斯算法,用于非负矩阵分解和三因子分解,相比Gibbs采样和非概率方法,该方法在迭代和时间步收敛速度更快,且无需额外样本估计后验。
2016-10-26 cs.AI cs.LG cs.NA
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit(盖比计算神经科学单元);University College London(伦敦大学学院)
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中,我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想,并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间,然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
Bayesian epidemic alignment for causal evaluation of seasonal infectious-disease interventions
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
该研究提出贝叶斯因果计数模型,通过季节特异性仿射变换对齐流行病,以更准确评估季节性传染病干预措施的因果效应,并结合模拟与加泰罗尼亚实际数据验证框架有效性。
2026-08-20 stat.AP stat.ME
Bayesian inference of a negative quantity from positive measurement results
本文应用贝叶斯分析方法,给一个具有确定符号的量的值赋予一个概率密度。这种分析在逻辑上与重复测量的结果(阳性或阴性)一致。结果被用来估计铯喷泉钟中的原子密度漂移。与经典的统计分析的比较也报告和贝叶斯方法的优势,实现的时间单位进行了讨论。
2009-02-17 stat.ME
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲,我们将逻辑函数转换为高斯函数,这有助于精确的推断,然后迭代地调整变分参数以提高近似的质量。我们通过实验证明,这种近似比采样更快,可能更准确。我们还介绍了一个简单的新技术来处理证据,这使我们能够处理观察到的节点上的任意分布,以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University(爱荷华州立大学);University of Kentucky(肯塔基大学)
PARyOpt是一个基于Python的贝叶斯优化例程的实现,专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤,其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题,通过异步更新。我们制定,开发和实现一个并行的,异步的贝叶斯优化的变种。该框架是稳健的,能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外,我们展示了该框架的软件设计如何允许轻松扩展到响应面重建(克里格),提供了一个高性能的自主探索软件。该软件可在PyPI上使用,并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
Information-Theoretic Multi-Objective Bayesian Optimization with Continuous Approximations
Washington State University(华盛顿州立大学)
许多现实世界的应用程序涉及使用连续函数近似的多个目标的黑盒优化,权衡评估的准确性和资源成本。例如,在火箭发射研究中,我们需要找到使用连续保真度模拟器(例如,改变容差参数以折衷仿真时间和精度)用于设计评估。目标是通过最小化评估成本来近似最优帕累托集。在本文中,我们提出了一种新的方法称为信息理论的多目标连续近似贝叶斯优化(iMOCA)}来解决这个问题。其核心思想是选择输入序列和函数逼近的多个目标,最大化的信息增益每单位成本的最优帕累托前沿。我们在不同的合成和真实世界的基准测试的实验表明,iMOCA显着提高了现有的单保真度的方法。
2020-11-23 cs.AI cs.LG stat.ML
Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables
Carnegie Mellon University(卡内基梅隆大学)
最近开发的技术使得从低维连续空间中的数据快速学习精确的概率密度函数成为可能。特别是,混合高斯可以非常快地拟合数据使用加速EM算法,采用多分辨率kd树(摩尔,1999年)。在本文中,我们提出了一种贝叶斯网络,在该网络中,在域的变量的不同子集的高斯低维混合物被组合成一个连贯的联合概率模型在整个域。该网络还能够对离散变量和连续变量之间的复杂依赖关系进行建模,而不需要对连续变量进行离散化。我们提出了有效的启发式算法,从数据中自动学习这些网络,并进行比较实验,说明如何以及这些网络模型真实的科学数据和合成数据。我们还简要讨论了一些可能的改进网络,以及可能的应用。
2013-01-16 cs.AI cs.LG stat.ML
A Constraint-Based Algorithm for the Structural Learning of Continuous-Time Bayesian Networks
University of Milan-Bicocca(米兰比可卡大学);Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所(IDSIA))
动态贝叶斯网络在文献中作为离散时间模型得到了很好的研究:然而,它们的连续时间扩展相对较少受到关注。在本文中,我们提出了第一个基于约束的算法学习连续时间贝叶斯网络的结构。我们讨论了不同的统计检验和我们的建议,以建立条件独立性的基本假设。此外,我们分析和讨论的计算复杂性的最佳和最坏的情况下,所提出的算法。最后,我们使用合成数据验证其性能,并将其与Nodelman等人(2003)的基于分数的结构学习算法进行比较,讨论其优势和局限性。我们发现后者在学习二进制变量的网络时更准确,而我们基于约束的方法在变量假设超过两个值时更准确。数值实验证实,分数为基础的和基于约束的算法是可比的计算时间。
2021-06-02 cs.AI cs.LG stat.ML
Testing for Causality in Continuous Time Bayesian Network Models of High-Frequency Data
连续时间贝叶斯网络的研究,特别关注其表达因果关系的能力。一个框架,在这些网络中进行推理。中心贡献是网络的强度矩阵的表示和因果关系度量的引入。提出了一种新的高频金融数据模型。它是根据市场数据进行校准的,通过新的因果关系衡量,它比旧模型表现得更好。
2016-01-25 q-fin.TR stat.ML
Smoothly Time-Varying Continuous Time Markov Chains in Phylogenetics
Department of Biostatistics, University of California Los Angeles(加州大学洛杉矶分校生物统计系);University of California Los Angeles(加州大学洛杉矶分校)
提出使用非齐次连续时间马尔可夫链和三次B样条基展开建模时变进化速率,通过高斯-勒让德求积近似似然,并应用高斯马尔可夫随机场先验保证平滑性,模拟和实证表明优于竞争模型。
2026-06-26 q-bio.PE stat.ME
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法,例如贝叶斯优化,用于各种应用,包括超参数调整和实验设计。最近,\emph{multi-fidelity}方法已经获得了相当大的关注,因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而,大多数多保真度方法仅假设有限数量的近似。然而,在许多实际应用中,可能存在连续的近似谱。例如,当调整昂贵的神经网络时,可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里,近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中,我们开发了贝叶斯优化方法,BOCA,这种设置。我们验证了它的理论性质,并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Continuous-in-time Limit for Bayesian Bandits
University of California-San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
该研究针对贝叶斯老虎机最优策略计算难的问题,推导其重标度后收敛于连续HJB方程,基于显式解或数值法提出大时域下的近似贝叶斯最优策略,且计算成本不随时域增长。
2023-09-30 cs.LG cs.NA math.NA
On Bayesian Nonparametric Continuous Time Series Models
本文是关于连续时间序列的贝叶斯非参数混合模型的一个注记。我们确定了这些模型的关键要求,然后确定有一个单一类型的模型,满足这一要求。事实证明,该模型在多个变点问题中是众所周知的。
2013-03-03 stat.ME
Bayesian Cumulative Probability Models for Continuous and Mixed Outcomes
有序累积概率模型(CPM)-也称为累积链接模型-例如比例优势回归模型通常用于离散有序结果,但可以适应连续和混合离散/连续结果,因为这些结果也是有序的。最近的论文描述了顺序CPM在这种情况下使用非参数极大似然估计。我们制定了贝叶斯CPM连续或混合的结果数据。贝叶斯CPM继承了频率论CPM的许多优点,并且在参数和参数函数的解释、灵活性和精确推断(在模拟误差内)方面具有优势。我们通过模拟和使用HIV生物标志物数据的案例研究来探索贝叶斯CPM的特征。此外,我们还提供了包'bayesCPM',它使用Stan概率编程语言的R接口实现贝叶斯CPM模型。用于连续结局的贝叶斯CPM仅需对先前规范进行微小修改即可实施,尽管存在一些限制,但在中等或大样本量的情况下通常具有良好的统计性能。
2022-01-07 stat.ME
Bayesian analysis of absolute continuous Marshall-Olkin bivariate Pareto distribution with location and scale parameters
本文提出了两种不同的新的切片抽样方法来估计具有位置和尺度参数的绝对连续Marshall-Olkin二元Pareto分布的参数。我们进行了baking分析,以伽玛先验的形状和尺度参数和截断正常的位置参数。还为所有方法提供了可信区间和覆盖概率。为了说明的目的,示出了真实数据分析。
2018-09-17 stat.AP stat.CO stat.ME
Adaptive Bayesian Estimation of Mixed Discrete-Continuous Distributions under Smoothness and Sparsity
我们考虑非参数估计的混合离散-连续分布各向异性光滑条件下的离散部分的分布和可能增加的支持点的数量。对于这些设置,我们推导出在全变差距离的估计率的下界。接下来,我们考虑一个非参数混合正态模型,该模型使用连续潜变量作为观测的离散部分。我们发现,在这个模型中的后验合同率等于派生的下界的对数因子。因此,贝叶斯混合正态模型可以用于混合离散-连续分布的最优自适应估计。
2018-06-19 econ.EM math.ST stat.TH
Bayesian estimate of the zero-density frequency of a Cs fountain
铯喷泉频率标准在国际单位制中排名第二,相对不确定度接近10^-16。在对精度预算的主要贡献中,冷碰撞由于参考原子跃迁的原子密度漂移而起重要作用。本文介绍了应用贝叶斯分析的时钟频率估计的密度漂移,并介绍了如何贝叶斯定理允许先验知识的碰撞系数的符号被严格嵌入到分析。作为一个应用程序,从INRIM铯喷泉的数据进行了比较,贝叶斯和正统的分析。贝叶斯定理可使正统不确定度降低28%,是一种重要的频率计量方法。
2009-07-28 math.PR math.ST stat.AP
Measurement Error in Meta-Analysis (MEMA) -- a Bayesian framework for continuous outcome data
理想情况下,荟萃分析将总结来自几项无偏倚研究的数据。在这里,我们考虑了不太理想的情况,其中贡献的研究可能会受到测量误差的影响。从随机对照试验到回顾性观察研究,测量误差影响着每一项研究设计。我们概述了一个灵活的贝叶斯框架连续的结果数据,它允许一个获得适当的点和区间估计与不同程度的先验知识的测量误差的大小。我们还演示了如何,如果个人参与者数据(IPD)是可用的,贝叶斯元分析模型可以调整多个参与者水平的协变量,测量或不测量测量误差。
2021-08-17 stat.ME
Inference in Hybrid Bayesian Networks Using Mixtures of Gaussians
University of Kansas(堪萨斯大学)
本文的主要目标是描述一种方法,在一般的混合贝叶斯网络(BN)(离散和连续的机会变量的混合)的精确推理。我们的方法包括近似一般的混合贝叶斯网络的混合高斯(MoG)BN。Lauritzen-Jensen(LJ)提出了一种在MoG贝叶斯网络中进行精确推理的快速算法,并给出了该算法的商业实现。然而,该算法只能用于MoG BN。这种网络的一些限制如下。所有连续的机会变量必须有条件线性高斯分布,离散的机会节点不能有连续的父母。本文所描述的方法将使我们能够使用LJ算法的更大的一类混合贝叶斯网络。这包括具有非高斯分布的连续机会节点的网络,对离散和连续变量的拓扑结构没有限制的网络,具有条件确定性变量的网络,这些变量是其连续父母的非线性函数,以及具有连续机会变量的网络,其方差是其父母的函数。
2012-06-27 cs.AI stat.ME
Continuous Monitoring of A/B Tests without Pain: Optional Stopping in Bayesian Testing
A/B测试是统计理论在现代互联网时代最成功的应用之一。原假设统计检验(NHST)是A/B检验方法学的主干,它的一个问题是不允许实验者对结果进行连续监测和实时决策。许多人认为这种限制是对实时数据分析技术趋势的一种挫折。近年来,贝叶斯假设检验,直观上是更适合于实时决策,吸引了越来越多的兴趣作为替代NHST。虽然NHST的连续监测设置的校正在现有的文献中已经建立,并且在A/B测试社区中是已知的,但是关于连续监测是否是贝叶斯测试中的适当实践的问题的争论存在于学术研究人员和全科医生中。在本文中,我们正式证明了贝叶斯测试的有效性与连续监测时,适当的停止规则使用,并说明了理论结果与具体的模拟说明。我们指出了常见的不良做法,停止规则是不适当的,也比较我们的方法NHST更正。还为研究人员和从业人员提供了一般准则。
2016-02-17 stat.AP
Metropolis-type algorithms for Continuous Time Bayesian Networks
我们提出了一个Metropolis-Hastings马尔可夫链蒙特卡罗(MCMC)算法,用于检测连续时间贝叶斯网络(CTBN)中的隐变量,它使用(Green 1995)定义的意义上的可逆跳跃。与几种蒙特卡罗算法(Rao and Teh 2013)中最新和最重要的算法之一一样,我们的算法利用了均匀化技术,在该技术下,连续时间马尔可夫过程可以表示为标记的泊松过程。我们以一种新颖的方式利用这一点。我们表明,我们的MCMC算法可以更有效地比那些似然加权类型,如(Nodelman等。2003)和(Fan等。2010),我们的算法拓宽了类的重要的例子,可以有效地处理。
2014-03-17 stat.ME
Bayesian modeling and forecasting of 24-hour high-frequency volatility: A case study of the financial crisis
本文估计模型的高频指数期货回报率使用“全天候”5分钟的回报,包括以下主要特征:多个持续的随机波动性因素,跳跃的价格和波动,季节性成分捕捉时间的一天的模式,回报和波动冲击之间的相关性,和公告效应。我们开发了一个综合的MCMC方法来估计日间和日内的参数和状态,使用高频数据,而不诉诸各种聚合措施,如已实现的波动。我们提供了一个案例研究,使用金融危机的数据从2007年到2009年,并使用粒子滤波器构建似然函数的模型比较和样本外预测从2009年到2012年。我们表明,我们的方法提高了已实现的波动率预测高达50%,超过现有的基准。
2014-01-22 stat.AP
Bayesian prediction for stochastic processes. Theory and applications
在本文中,我们采用贝叶斯的观点来预测真实的连续时间过程。给出了贝叶斯预测的两个等价定义,并研究了贝叶斯预测的一些性质:可容许性、预测充分性、无偏性、与有效预测的比较。讨论了连续和抽样情形下的泊松过程预测和Ornstein-Uhlenbeck过程预测。各种模拟说明与非贝叶斯预测的比较。
2013-12-28 math.ST stat.TH
Bayesian Approach for Parameter Estimation of Continuous-Time Stochastic Volatility Models using Fourier Transform Methods
我们提出了一个两阶段的过程中相当普遍的,连续时间的随机波动率的参数估计。所提出的方法的一个重要组成部分是Cuchiero-Teichmann波动估计,这是基于傅里叶变换,并提供了一个连续的时间估计的潜在过程。然后,该估计用于构造感兴趣的参数的近似似然,其限制通过先验分布考虑。该程序被证明是非常成功的构造后验分布的参数的赫斯顿模型,而有限的成功时,实现了高度参数化的指数-奥恩斯坦-乌伦贝克。
2018-12-10 math.ST stat.ME stat.TH
Bayesian quantile regression analysis for continuous data with a discrete component at zero
在这项工作中,我们展示了一个贝叶斯分位数回归方法,以响应变量的混合离散-连续分布与一个点质量为零,这些观察被认为是左删失或真零。我们结合分位数回归分析提供的信息,给出了一个更完整的描述被删失的概率,给定的观察值等于零,同时还研究了连续部分的条件分位数。我们从文献中的相关模型建立了一个马尔可夫链蒙特卡罗方法来获得样本的后验分布。我们证明了该模型的适用性,以分析这种删失概率与模拟的例子和两个应用程序与真实数据。第一个是一个众所周知的数据集从计量经济学文献中的妇女劳动力在英国和第二个考虑的统计分析的支出与耐用品,考虑来自巴西的信息。
2015-11-18 stat.ME
Brittleness of Bayesian Inference Under Finite Information in a Continuous World
在经典的贝叶斯灵敏度分析框架下,我们推导出了贝叶斯模型后验值的最优上下上界,该贝叶斯模型精确地捕获了数据生成分布的任意大数量的有限维边缘和/或尽可能地接近Prokhorov或全变差度量中的数据生成分布;这些界限表明,在以有限精度测量的任意大数量的样本数据为条件之后,这种模型仍然可能产生最大可能的预测误差。这些结果是通过对测度空间上的测度上的最优化问题发展一种归约演算而得到的。我们使用这种演算来研究产生脆性/鲁棒性的机制,特别是,我们观察到学习和鲁棒性是对立的属性。现在已经很好地理解,偏微分方程的数值分辨率需要满足特定的稳定性条件。在有限信息的连续世界中使用贝叶斯推理是否存在缺失稳定性条件?
2015-01-20 math.PR math.ST stat.TH
Nonlocal Bayesian Modeling of Continuous Spatio-Temporal Dynamics
Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST)(工业与系统工程系,韩国科学技术院)
提出NLBST模型,通过坐标基展开和连续时间ODE结合非局部积分微分方程,实现不规则观测下的连续时空预测与不确定性量化。
2026-06-15 cs.LG stat.ML
Estimating Continuous Distributions in Bayesian Classifiers
当用贝叶斯网络对概率分布建模时,我们面临着如何处理连续变量的问题。大多数以前的工作要么解决了离散化的问题,或假设数据是由一个单一的高斯。在本文中,我们放弃了正态性假设,而是使用非参数密度估计的统计方法。对于一个朴素贝叶斯分类器,我们提出了各种自然和人工领域的实验结果,比较两种方法的密度估计:假设正态分布和建模每个条件分布与一个单一的高斯,并使用非参数核密度估计。我们观察到大量的减少在几个自然和人工数据集的错误,这表明核估计是一个有用的工具,学习贝叶斯模型。
2013-02-20 cs.AI cs.LG stat.ML