Bayesian Modeling of Incompatible Spatial Data: A Case Study Involving Post-Adrian Storm Forest Damage Assessment
针对多分辨率空间数据建模易丢失细粒度信息的问题,提出基于最细分辨率潜在空间过程的贝叶斯方法及高效推断算法,经风暴森林损害评估应用与模拟验证,显著提升小单元推断性能。
2024-08-15 stat.ME
Multivariable Bidirectional Mendelian Randomization via Bayesian Directed Cyclic Graphical Models with Correlated Errors
Texas A&M University(德克萨斯农工大学);Massachusetts General Hospital(麻省总医院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种基于贝叶斯定向循环图模型的多变量双向孟德尔随机化方法,用于处理反馈回路和未测量混杂因素,提升基因调控网络因果推断的准确性。
2026-01-14 stat.AP stat.ME
Bayesian Analysis of Marginal Log-Linear Graphical Models for Three Way Contingency Tables
本文讨论了三向列联表边际独立图模型的贝叶斯分析。我们使用一个边际对数线性参数化,根据该模型是通过合适的零约束的相互作用参数计算的边缘分布。我们对这些模型进行了全面的贝叶斯分析,包括先验分布的适当选择、估计、模型确定以及相关的计算问题。该方法示出了参考两个真实的数据集。
2008-07-07 stat.ME
Bayesian profile regression for clustering analysis involving a longitudinal response and explanatory variables
鉴定具有共同功能的共调控基因是现代基因组学的一个关键问题。贝叶斯轮廓回归是一种半监督混合建模方法,它利用响应来指导对相关聚类的推断。以前的应用程序的配置文件回归考虑了单变量连续,分类,计数的结果。在这项工作中,我们扩展贝叶斯轮廓回归的情况下,结果是纵向(或多变量连续),并提供PReMiuMlongi,更新版本的PReMiuM,R包配置文件回归。我们考虑多元正态和高斯过程回归响应模型,并提供了四个模拟研究的原则应用程序的证明。该模型适用于芽殖酵母的数据,以确定在酿酒酵母细胞周期的基因组共调节。我们确定了4个不同的基因组与特定模式的基因表达轨迹,随着绑定的转录因子,可能参与其共同调控过程。
2021-11-08 stat.AP stat.ME
A Bayesian nonlinear stationary model with multiple frequencies for business cycle analysis
本文提出一种用于分析多重商业周期的非线性单误差源模型,允许不同周期类型、长度及时间可变振幅与相位偏移,结合贝叶斯框架与 MCMC 方法估计,应用于波兰 GDP 增长率揭示了投资与库存周期共存并支持概率化周期定年。
2024-06-04 stat.AP stat.ME
Bayesian D- and I-optimal designs for choice experiments involving mixtures and process variables
针对加工类混合食品的消费者偏好量化需求,本文提出将混合物-过程变量实验与离散选择实验结合的方法,介绍了对应选择实验的贝叶斯D-最优和I-最优设计生成方式,并通过两个示例对比两种设计。
2023-07-20 stat.AP stat.ME
Bayesian I-optimal designs for choice experiments with mixtures
离散选择实验经常被用来量化消费者的偏好,让受访者在不同的替代品之间进行选择。在文献中,涉及成分混合物的选择实验在很大程度上被忽视了,尽管许多产品和服务可以被描述为成分的混合物。因此,很少有研究已经做了关于混合物的选择实验的最优设计。现有的研究主要集中在D-最优设计上,这意味着采用了基于估计的方法。然而,在混合物的实验中,获得能够对任何成分比例组合进行精确预测的模型至关重要。这是因为混合实验的目标通常是找到优化受访者效用的混合物。因此,I-最优性准则比D-最优性准则更适合于设计混合物的选择实验,因为I-最优性准则侧重于用估计的统计模型得到精确的预测。在本文中,我们研究贝叶斯I-最优设计,比较它们与贝叶斯D-最优的同行,并表明,前者的设计表现大大优于后者的预测效用的方差。
2021-09-14 stat.ME
Bayesian inference for Matérn repulsive processes
在许多涉及点模式数据的应用中,泊松过程假设是不切实际的,数据表现出更规则的扩展。例如,树木就表现出了事件之间的这种排斥,因为它们争夺光线和养分。其他例子包括生物细胞和城市的位置,以及神经元尖峰的时间。鉴于排斥点过程的许多应用,有一个令人惊讶的有限的文献开发灵活,现实和可解释的模型,以及有效的推理方法。我们通过围绕Matérn III型排斥过程开发一个建模框架来解决这一差距。我们考虑了一些扩展的原始Matérn III型过程的均匀和非均匀的情况下。我们还得到了这个广义Matérn过程的概率密度。这使我们能够表征后验分布的各种潜变量,并导致一种新的和有效的马尔可夫链蒙特卡罗算法。我们将我们的想法应用于涉及树木,神经纤维细胞和灰狗巴士站的空间位置的数据集。
2015-04-03 stat.ME
Robust Bayesian inference in complex models with possibility theory
我们提出了一个通用的解决方案,强大的贝叶斯推断在复杂的设置,可能存在异常值的问题。在实践中,鲁棒贝叶斯分析的自动化在涉及大型和复杂数据集的许多应用中是重要的。所提出的解决方案依赖于重新制定的贝叶斯推断的基础上的可能性理论,并利用观察,在这种情况下,边际似然数据评估先验和似然之间的一致性,而不是模型的适应性。我们的方法不需要额外的参数,在其最简单的形式,并有一个有限的影响,计算复杂性相比,非鲁棒性的解决方案。我们的解决方案的一般性是通过模拟和真实数据,包括矩阵估计和变点检测的应用程序。
2022-04-14 stat.ME
Bayesian hierarchical modeling of simply connected 2D shapes
包含在图像内的形状的分布的模型可以广泛地用于生物医学应用中,从用于靶向放射治疗的肿瘤跟踪到对血液样本中的细胞进行分类。我们的重点是简单连接的2D闭合曲线的形状和大小的分层概率模型,避免了通过对整个曲线进行建模来指定地标的需要,同时借用相关对象的曲线信息。流行的方法在提供曲线和/或标志位置的初始点估计方面遵循根本不同的策略,然后将其馈送到随后的统计分析中。这种两阶段方法忽略了第一阶段的不确定性,并且不允许在估计对象形状和大小时跨对象借用信息。我们的完全贝叶斯分层模型是基于循环基表征的线性组合内的多尺度变形,这有利于自动对齐不同的曲线占不确定性。表征是高度灵活的,在表示2D封闭曲线,导致一个非参数贝叶斯先验与大的支持。有效的马尔可夫链蒙特卡罗方法被开发用于同时分析多个对象。通过模拟实例和酵母细胞成像数据的方法进行评估。
2012-01-08 stat.ME
Modelling dependency completion in sentence comprehension as a Bayesian hierarchical mixture process: A case study involving Chinese relative clauses
University of Potsdam(波茨坦大学);École Nationale de la Statistique et de l’administration économique(国家统计与经济管理学院);CNRS(法国国家科学研究中心);Université Paris-Dauphine(巴黎九大);PSL Research University(巴黎文理研究大学)
我们提出了一个案例研究证明贝叶斯分层混合模型的有用性,调查认知过程。在句子理解中,人们普遍认为语言共同依存关系之间的距离影响依存关系解决的延迟:距离越长,检索时间越长(基于距离的帐户)。另一种理论,直接访问,假设检索时间是两个分布的混合:一个分布代表成功的检索(这些是独立的依赖距离),另一个代表一个初始的失败,以检索正确的依赖,其次是重新分析,导致成功的检索。我们将这两个模型作为贝叶斯层次模型来实现,结果表明,直接访问模型比距离帐户更好地解释了中文关系从句阅读时间数据。
2017-05-05 cs.CL stat.AP stat.ME
Multilevel Bayesian Quadrature
多级蒙特卡罗是一个关键的工具,用于近似积分涉及昂贵的科学模型。我们的想法是使用被积函数的近似值来构造一个估计,该估计比经典的蒙特卡罗方法具有更高的精度。我们建议通过被积函数的贝叶斯替代模型进一步增强多级蒙特卡罗,重点是高斯过程模型和相关的贝叶斯正交估计。我们表明,使用理论和数值实验,我们的方法可以导致显着提高精度时,被积是昂贵的,光滑的,当维数是小或中等。最后,我们总结了一个案例研究,说明我们的方法在滑坡产生的海啸建模,每个被积函数的评估成本通常是太大的操作设置的潜在影响。
2023-03-13 stat.ME
Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error
Japan Digital Design(日本数字设计公司);The University of Tokyo(东京大学);Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心)
用少量数据学习新概念的能力是智能的一个重要方面,这对深度学习方法来说是一个挑战。针对Few-Shot学习的元学习为这个问题提供了一个潜在的解决方案:通过学习从许多以前的任务中跨数据学习,Few-Shot学习算法可以发现任务之间的结构,从而能够快速学习新任务。然而,Few-Shot学习中的一个关键挑战是任务模糊性:即使可以从大量先前任务中元学习到强大的先验,新任务的小数据集也可能非常模糊,无法为该任务获取单个模型。贝叶斯元学习模型通过引入一个复杂的先验分布,并利用贝叶斯决策理论对后验分布进行正则化,很好地解决了这个问题。然而,目前已知的贝叶斯元学习过程,如VERSA遭受所谓的{ \it信息偏好问题},即,后验分布退化到一个点,并且远离精确的一个。为了解决这个问题,我们设计了一个新的元正则化目标使用{ \it循环退火时间表}和{ \it最大平均差异}(MMD)标准。循环退火时间表在避免这种退化解方面非常有效。这个过程包括一个困难的KL发散估计,但我们解决了这个问题,采用MMD而不是KL发散。实验结果表明,我们的方法大大优于标准的元学习算法。
2020-03-04 cs.LG stat.ML
Bayesian optimal design for ordinary differential equation models with application in biological science
贝叶斯最优设计被认为是响应分布取决于非线性常微分方程系统的解决方案的实验。动机是一个实验,以估计参数的方程管理的氨基酸通过细胞膜在人类胎盘的运输。这种非线性模型的决策理论贝叶斯实验设计在概念上是非常有吸引力的,允许正式纳入先验知识,以克服频率论设计的参数依赖性和不太依赖于渐近近似。然而,必要的近似和最大化,通常分析棘手的,预期效用的结果在计算上具有挑战性的问题。如果微分方程的解不能以封闭形式获得,则这些问题进一步加剧。本文提出了一种新的组合的概率解嵌入在一个蒙特卡罗近似的期望效用与循环下降的光滑近似找到最优设计的方程。一种新的预计算算法减少了计算负担,使搜索更大的问题的最佳设计可行。该方法被证明是通过寻找新的设计,一些常见的模型来自微分方程,并提供最佳的设计胎盘实验。
2019-05-01 stat.ME
Inferring Skin-Brain-Skin Connections from Infodemiology Data using Dynamic Bayesian Networks
该研究基于 Google Search Trends Symptoms 数据,利用动态贝叶斯网络构建12种皮肤与精神健康状况的因果网络,揭示疾病循环关系及睡眠障碍的中介作用。
2024-05-10 stat.AP
Bayesian nonparametric mixtures of Archimedean copulas
University of Toronto(多伦多大学);ITAM(墨西哥自治技术学院)
本文提出了一种基于Poisson-Dirichlet过程的Archimedean copula贝叶斯非参数混合模型,以提升依赖性建模的灵活性,并通过数值实验验证了其有效性。
2026-10-26 stat.ME
Bayesian design of experiments for generalised linear models and dimensional analysis with industrial and scientific application
实验的设计总是可以被认为至少是隐含的贝叶斯,先验知识被非正式地用于辅助决策,例如要研究的变量以及解释变量和测量响应之间的合理关系的选择。贝叶斯方法允许通过先验分布将这些决策中的不确定性纳入设计选择中,先验分布封装了从科学知识或先前实验中获得的信息。此外,设计可以通过使用适当的损失函数的决策理论方法来明确地定制实验的目的。我们回顾了该地区的决策理论贝叶斯设计,特别强调在计算方法的最新进展。对于工业和科学中出现的许多问题,实验结果是离散的响应,这是广义线性模型类的成员很好地描述。我们描述了如何高斯过程仿真,通常用于计算机实验,可以发挥重要作用,促进贝叶斯设计的现实问题。一个主要的重点是结合高斯过程回归,以近似的预期损失与循环下降(坐标交换)优化算法,以允许最佳的设计,以找到以前不可行的问题。我们还提出了第一个最优设计结果的统计模型形成的量纲分析,广泛采用的方法在工程和物理科学,以产生简约和可解释的模型。使用著名的纸直升机实验,我们展示了贝叶斯设计,广义线性模型和量纲分析相结合的潜力,以产生小而翔实的实验。
2016-10-26 stat.ME
A Hierarchical Bayesian Framework for Constructing Sparsity-inducing Priors
由于越来越多的回归和分类应用涉及高维数据,我们希望一些预测是不重要的,变量选择技术已成为统计学家之间越来越流行。在这种情况下,贝叶斯变量选择技术,涉及马尔可夫链蒙特卡罗探索的后验分布的模型可以是令人望而却步的计算昂贵的,所以已经注意到准贝叶斯方法,如最大后验概率(MAP)估计使用先验,诱导稀疏性,在这样的估计。我们专注于后一种方法,扩展到目前为止提出的层次结构,以提供贝叶斯解释和概括的最先进的惩罚优化方法,并同时提供一种自然的方式,包括在此框架内的参数先验信息。我们给出了如何使用这个层次结构来计算线性和逻辑斯谛回归的MAP估计以及高斯图形模型中的稀疏精度矩阵估计的例子。此外,一个自适应群套索方法推导出使用的框架。
2010-09-16 stat.CO stat.ME
Bayesian Semi-Blind Deconvolution at Scale
NTNU(挪威科技大学);Indiana University(印第安纳大学);UCLA(加州大学洛杉矶分校)
本文提出了一种基于傅里叶域的可扩展贝叶斯半盲去卷积方法,通过改进的哈密顿蒙特卡罗更新和吉布斯采样器,提高了大规模图像去卷积的效率和准确性。
2026-01-14 stat.CO
Towards Automatic Bayesian Optimization: A first step involving acquisition functions
贝叶斯优化是用于优化黑盒的最先进技术,即,函数,我们不能访问它们的解析表达式,也不能访问它的梯度,它们的计算代价很高,而且它的计算是嘈杂的。最流行的应用是机器学习算法的自动超参数调整,其中我们通过优化这些算法的泛化误差的估计来获得机器学习算法的最佳配置。尽管成功地应用,但生物学优化方法也具有需要配置的超参数,例如所使用的概率代理模型或采集函数。对这些超参数的配置的错误决策意味着获得质量差的结果。通常,这些超参数是通过对我们想要评估的目标函数进行假设来调整的,但在某些情况下,我们没有关于目标函数的任何先验信息。在本文中,我们提出了第一次尝试,通过探索几个自动调整的采集功能的baidu优化。我们在一组基准问题和一个机器学习算法的超参数调整问题中说明了这些方法的有效性。
2021-01-12 cs.AI cs.LG stat.ML
Large Order-Invariant Bayesian VARs with Stochastic Volatility
由于对误差协方差矩阵使用了Cholesky分解,许多流行的具有多变量随机波动率的向量自回归(VAR)的规范对变量的排序方式并不不变。我们表明,现有方法中的顺序不变性问题可能会变得更加严重,在大型VAR。我们建议使用的规范,避免使用这种Cholesky分解。我们表明,多元随机波动的存在允许识别所提出的模型,并证明它是不变的顺序。我们开发了一个马尔可夫链蒙特卡罗算法,它允许贝叶斯估计和预测。在涉及人工和真实宏观经济数据的练习中,我们证明了变量排序的选择对实证结果有不可忽视的影响。在一个宏观经济预测练习涉及VAR与20个变量,我们发现,我们的顺序不变的方法导致最好的预测和变量排序的一些选择可能会导致使用传统的,非顺序不变的方法预测不佳。
2021-11-14 econ.EM stat.ME
Generalized Direct Sampling for Hierarchical Bayesian Models
本文提出了一种不使用马尔可夫链蒙特卡罗的分层模型后验分布抽样的新方法。这种方法是重要性抽样思想的一种变体,通常适用于涉及大数据集的高维模型。样本是独立的,所以它们可以并行收集,我们不需要关心链收敛和自相关等问题。此外,该方法可用于计算边际似然。
2012-08-09 stat.CO stat.ME
Bayesian bandwidth estimation for local linear fitting in nonparametric regression models
本文给出了非参数回归模型中回归函数的局部线性估计的带宽估计的贝叶斯抽样方法。在贝叶斯抽样方法中,误差密度近似为高斯密度的位置混合密度,其中平均值为个体误差,方差为常数参数。该混合密度具有误差的核密度估计器的形式,并且被称为核形式误差密度(参见,Zhang等人,2014年)。虽然Zhang等人。(2014)使用局部常数(也称为Nadaraya-Watson)估计量来估计回归函数,但我们将其扩展到局部线性估计量,从而产生更准确的估计。所提出的调查的动机是缺乏数据驱动的方法,同时选择带宽的局部线性估计的回归函数和核形式的误差密度。处理带宽作为参数,我们得到一个近似(伪)的可能性和后验。仿真研究表明,在综合平方误差准则下,该方法的带宽估计性能优于经验法则和交叉验证方法。通过一个包含公司股权集中度的非参数回归模型和一个包含国家价格密度估计的模型对所提出的带宽估计方法进行了验证。
2020-11-09 stat.CO stat.ME
Bayesian semi-parametric forecasting of ultrafine particle number concentration with penalised splines and autoregressive errors
观测的时间序列数据往往表现出周期性的时间趋势和自相关性,也可能依赖于协变量。因此,需要能够捕获这些趋势并同时对任何剩余自相关进行建模的灵活回归模型。对残差中的自相关进行建模,比假设独立性更能得到更真实的预测。在本文中,我们提出了一种方法,结合样条半参数回归建模的自回归误差的建模。该方法被应用到一个模拟的数据集,以显示其有效性和超细颗粒数浓度在芬兰赫尔辛基,以显示其在现实世界中的问题。
2012-09-25 physics.ao-ph physics.data-an stat.AP
Bayesian Modeling of Gibbs Point Processes via Basis Function Expansions
University of Missouri(密苏里大学)
该研究针对非齐次成对交互Gibbs点过程模型,提出基于基函数展开的分层贝叶斯框架与完全空间随机性检验程序,并通过水黾、森林火灾两个真实基准数据验证了方法有效性。
2026-08-14 stat.AP stat.CO stat.ME
Bayesian Quantile Matching Estimation
由于对数据保护和相应法律的认识提高,许多数据,特别是涉及敏感个人信息的数据,无法公开访问。因此,许多数据收集机构只公布汇总数据,例如提供总体分布的平均数和选定分位数。然而,研究和科学理解,例如医疗诊断或政策咨询,往往依赖于数据访问。为了克服这种紧张局势,我们提出了一个贝叶斯方法学习分位数信息。该方法基于有限样本的顺序统计量,充分正确地反映了经验分位数的不确定性。在概述了理论之后,我们将我们的方法应用于模拟和现实世界的例子。此外,我们提供了一个基于Python的包,实现了所提出的模型。
2022-04-11 stat.ME stat.ML
Adjusting for Partial Compliance in SMARTs: a Bayesian Semiparametric Approach
许多物质使用障碍的周期性和异质性突出表明,需要调整治疗的类型或剂量,以适应个人的具体和不断变化的需要。酒精和可卡因依赖适应性治疗研究(ENGAGE)是一项多阶段随机试验,旨在为构建治疗策略提供纵向数据,以提高患者对治疗的参与度。然而,高不依从率和缺乏分析工具来解释不依从性阻碍了研究人员使用数据来实现试验的主要目标。我们克服了这个问题,我们的目标参数定义为不同的治疗策略下的平均结果为给定的潜在的依从性分层,并提出了贝叶斯半参数模型来估计这个数量。虽然它增加了大量的复杂性分析,我们的工作的一个重要特点是,我们考虑部分,而不是二进制的遵守类,这是更相关的纵向研究。我们通过全面的模拟研究评估我们的方法的性能。我们说明了它的应用程序上的ENGAGE研究,并表明,最佳的治疗策略取决于依从性层。
2020-05-20 stat.AP stat.ME
Bayesian Computation in Dynamic Latent Factor Models
贝叶斯计算的过滤和预测分析开发了广泛的一类动态模型。在非高斯、非线性多变量时间序列模型中,通过引入一种新的Copula结构,在动态广义线性模型的耦合集的顺序滤波中,提高了这种分析的能力。新的Copula方法被集成到最近推出的多尺度模型,其中单变量时间序列耦合通过非线性形式,涉及动态的潜在因素,代表跨系列的关系。由此产生的方法提供了显着的速度加快在线贝叶斯计算顺序过滤和预测在这个广泛的,灵活的类的多变量模型。非负计数的非常异质的时间序列的非线性模型中的两个例子展示了相对于现有的基于模拟的方法的巨大的计算效率,同时定义了类似的过滤和预测结果。
2020-07-09 stat.CO stat.ME
Adaptive Bayesian Learning with Action and State-Dependent Signal Variance
Columbia Business School(哥伦比亚商学院)
本文提出将动作和状态依赖的信号方差纳入贝叶斯学习决策模型的新框架,并通过多个示例展示其在不同经济决策场景中的通用性。
2023-11-28 cs.LG econ.EM math.ST
Estimating a smooth function on a large graph by Bayesian Laplacian regularisation
我们研究了贝叶斯方法来估计一个光滑函数的背景下,回归或分类问题的大型图形。我们推导出的理论结果表明,如何渐近最优贝叶斯正则化可以实现下的渐近形状假设的基础图形和平滑条件的目标函数,都制定在图形拉普拉斯算子。我们研究的先验是随机缩放的高斯分布,其精确运算符涉及图的拉普拉斯算子。
2017-03-05 math.ST stat.TH
Learning Continuous Time Bayesian Networks
Stanford University(斯坦福大学)
连续时间贝叶斯网络(CTBN)描述了在连续时间内演化的具有多个状态的结构化随机过程。CTBN是一组变量上的有向(可能是循环的)依赖图,每个变量表示一个有限状态的连续时间马尔可夫过程,其转换模型是其父过程的函数。我们解决的问题的学习参数和结构的CTBN从充分观察到的数据。我们定义了一个共轭先验的CTBN,并展示了它如何可以用于贝叶斯参数估计和贝叶斯得分的基础上的结构学习。由于无环性不是CTBN中的约束,因此我们可以证明,无论是在理论上还是在实践中,结构学习问题都比动态贝叶斯网络(DBNs)的结构学习要容易得多。此外,由于CTBN可以根据不同变量的演化的不同时间粒度来定制参数和依赖结构,因此它们可以比具有固定时间粒度的DBN更好地适应连续时间过程。
2012-10-19 cs.LG stat.ML
A Bayesian framework for analyzing alleged cheating in sports through hidden codes, with applications to bridge and baseball
本文提出一个从取证视角评估体育中涉嫌非法信号作弊的统计框架,采用贝叶斯方法而非频率主义程序,并将其应用于职业桥牌和棒球案例,展示了方法的通用性。
2025-03-03 stat.AP
Sparsity-Promoting Bayesian Dynamic Linear Models
近年来,由于涉及大量预测因子的回归和分类应用的数量增加,稀疏性促进先验变得越来越受欢迎。在随时间收集观测值的时间序列应用中,假设基本稀疏模式是固定的通常是不现实的。我们在这里提出了一个灵活的贝叶斯线性模型的动态稀疏建模的原始类。建议的模型类扩展了现有的贝叶斯文献稀疏回归广义多元双曲分布。通过分析结果和模拟研究的模型的属性进行了探索。我们展示了一个金融应用程序的模型,它表明,它准确地代表了股票和衍生品数据分析中看到的模式,并能够通过过滤人工资产组合来检测重大事件。
2012-03-01 stat.CO stat.ME stat.ML
Local empirical Bayes correction for Bayesian modeling
针对大规模混合分布数据不适用James-Stein估计量的问题,本研究介绍Efron(2011)提出的局部经验贝叶斯校正方法,用于校正大规模数据的选择偏倚,拓展了经验贝叶斯方法的应用场景。
2025-08-02 math.ST stat.ME stat.TH
Fast and Flexible Bayesian Inference in Time-varying Parameter Regression Models
本文将含有K个解释变量和T个观测值的时变参数(TVP)回归模型写成含有KT个解释变量的常系数回归模型。与现有文献中假设系数按照随机游走演化的假设不同,本文引入了TVP的分层混合模型。由此产生的模型密切模仿一个随机系数的规格,分组的TVP到几个政权。这些灵活的混合物允许TVP具有少量、中等或大量的结构断裂。我们开发了计算效率的贝叶斯计量经济学方法的基础上的奇异值分解的KT回归。在人工数据中,我们发现我们的方法在计算时间方面比标准方法更准确,更快。在一个涉及使用大量预测因子进行通货膨胀预测的实证研究中,我们发现我们的模型比其他方法预测得更好,并且记录了不同的参数变化模式,而不是假设参数随机游走演化的方法。
2021-09-30 econ.EM stat.CO
Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所(A2I2));Deakin University(迪肯大学)
我们提出了一种贝叶斯函数优化算法-也就是说,找到优化过程的函数-由实验者的信念和直觉指导,关于预期的特征(长度尺度,平滑度,周期性等)。最优解编码到高斯过程的协方差函数中。我们的算法生成一个序列的有限维随机子空间的功能空间由一组绘制从实验者的高斯过程。标准贝叶斯优化应用于每个子空间,并找到最佳解决方案用作下一个子空间的起点(原点)。利用有效维数的概念,我们分析了我们的算法的收敛性,并提供了一个遗憾界,表明我们的算法收敛于次线性时间提供了一个有限的有效维数存在。我们在模拟和真实世界的实验中测试了我们的算法,即盲函数匹配,寻找铝合金的最佳沉淀强化函数,以及深度网络的学习率调度优化。
2020-09-08 cs.LG stat.ML
Simulation Based Bayesian Optimization
CUNEF Universidad(CUNEF大学);Middlebury College(Middlebury学院)
针对复杂协变量空间中GPs代理模型的不足,本文提出基于模拟的贝叶斯优化(SBBO)方法,仅需采样访问后验预测分布即可优化采集函数,支持组合空间定制代理模型,经验验证其在组合优化中的有效性。
2025-08-25 cs.LG stat.ML
Objective Bayesian analysis under sequential experimentation
序贯实验的客观先验被认为是。常见的先验,如Jeffreys先验和参考先验,通常取决于用于序贯实验的停止规则。在各种情况下获得新的表达式的参考先验,并考虑涉及这种先验的计算问题。
2008-05-20 math.ST stat.CO stat.TH
A PAC-Bayesian Link Between Generalisation and Flat Minima
Inria(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(雷恩信息与自动化研究所);University College London(伦敦大学学院)
针对过参数化机器学习模型泛化能力的开放问题,该研究结合PAC-Bayes工具箱与庞加莱、对数索伯列夫不等式,提出含梯度项的新型泛化界,揭示平坦极小值对泛化性能的积极影响。
2025-02-11 cs.LG stat.ML
Error bounds for some approximate posterior measures in Bayesian inference
本文针对贝叶斯反问题中完整后验计算代价过高的问题,回顾了基于随机近似数据失配与正演模型的随机及确定性近似后验的误差界。
2020-04-22 cs.NA math.NA math.ST
On the Effectiveness of Mode Exploration in Bayesian Model Averaging for Neural Networks
Massachusetts Institute of Technology, Lincoln Laboratory(麻省理工学院林肯实验室)
已经出现了在监督学习设置中使用深度神经网络来产生校准的预测概率的多种技术,这些技术利用方法来集成在循环训练或从多个随机起始点(深度集成)进行训练期间发现的不同解决方案。然而,只有有限数量的工作已经调查了探索每个不同的解决方案(后验模式)周围的局部区域的效用。我们在CIFAR-10数据集上使用三种众所周知的深度架构,评估了几种简单的方法,用于探索权重空间的局部区域,包括Brier评分、准确性和预期校准误差。我们考虑贝叶斯推理技术(变分推理和应用于softmax输出层的Hamilton Monte Carlo)以及利用接近最优的随机梯度下降轨迹。虽然将单独的模式添加到合奏统一提高性能,我们表明,这里考虑的简单模式探索方法产生很少或没有改善没有模式探索合奏。
2021-12-07 cs.LG stat.ML
Bayesian inference and prediction for mean-mixtures of normal distributions
本文研究了多元正态分布均值混合的预测密度估计的频率风险性质,其中包含一个未知的位置参数$θ\in \mathbb{R}^d$,并且包含多元斜正态分布.我们提供明确的表示贝叶斯后验和预测密度,包括基准最小风险同变(MRE)密度,这是极大极小和广义贝叶斯相对于一个不适当的均匀密度$θ$。对于四个维度或更多,我们得到的贝叶斯密度,提高均匀的MRE密度下Kullback-Leibler损失。我们还提供插件类型的改进,调查的影响,某些类型的参数限制$θ$,并说明和评论的结果的基础上数值评估。
2022-02-01 math.ST stat.TH
Semiparametric analysis of clustered interval-censored survival data using Soft Bayesian Additive Regression Trees (SBART)
流行的参数和半参数风险回归模型聚类生存数据是不合适的,不充分的未知影响不同的协变量和聚类是复杂的。这需要一个灵活的建模框架来产生有效的生存预测。此外,对于一些涉及至发生某些无症状事件的时间的生存期研究,生存期通常在连续临床检查之间进行间隔删失。在这篇文章中,我们提出了一个强大的半参数模型,用于贝叶斯集成学习范式下的聚类区间删失生存数据,称为软贝叶斯加性回归树或SBART(Linero和Yang,2018),它结合了多个稀疏(软)决策树,以获得出色的预测精度。我们开发了一种新的半参数风险回归模型,通过建模的风险函数作为一个产品的参数基线风险函数和非参数组件,使用SBART将聚类,未知的功能形式的主要影响,和各种协变量的相互作用的影响。除了适用于左删失,右删失和区间删失的生存数据,我们的方法是使用数据增强计划,允许现有的贝叶斯回拟合算法被使用。我们说明了我们的方法的实际实施和优势,通过模拟研究和分析的前列腺癌手术的研究,依赖于医生的经验和技能水平,导致集群的生存时间。最后,我们讨论了我们的方法的适用性,涉及高维数据与复杂的底层关联的研究。
2021-03-12 stat.AP
Learning Bayesian Networks through Birkhoff Polytope: A Relaxation Method
Texas A&M University(德州农工大学)
我们建立了一个新的框架,学习有向无环图(DAG)时,数据生成的高斯,线性结构方程模型。它由两部分组成:(1)引入置换矩阵作为正则化高斯对数似然中的新参数来表示变量排序;以及(2)给定排序,通过逆协方差阵的稀疏Cholesky因子来估计DAG结构。对于置换矩阵估计,我们提出了一种松弛技术,避免了NP-难的组合问题的顺序估计。给定一个排序,一个稀疏的乔莱斯基因子估计使用循环coordinatewise下降算法,逐行并行。我们的框架恢复DAG,而不需要昂贵的验证的非循环约束或枚举可能的父集。我们建立了数值收敛的算法,和一致性的Cholesky因子估计变量的顺序是已知的。通过几个模拟和宏观经济数据集,我们研究了所提出的方法的范围和性能。
2021-07-04 cs.LG stat.ML
A Bayesian approach for structure learning in oscillating regulatory networks
振荡是许多生物过程的核心,从细胞周期到昼夜节律振荡和发育过程。计时机制对于使生物体能够适应从昼夜到季节的环境周期中的各种条件至关重要。转录调控网络是这些生物振荡背后的机制之一。然而,虽然从时间序列测量中识别周期性表达的基因相对容易,但确定支撑振荡的相互作用网络的结构是一个更具挑战性的问题。在这里,我们明确地利用转录信号的振荡性质,并提出了一种方法,用于重建网络相互作用,这是一种特殊但重要的遗传电路。我们的方法是基于使用离散傅立叶变换的一组振荡的基础函数上投影的信号。我们在频域线性模型中建立贝叶斯分层模型,以增强稀疏性并结合有关网络结构的先验知识。对真实数据和模拟数据的实验表明,如果满足振荡假设,该方法可以导致竞争方法的实质性改进,并且在不满足振荡假设的情况下仍然具有竞争力。
2015-04-24 q-bio.QM stat.ML
Nonparametric Bayesian Aggregation for Massive Data
我们开发了一套可扩展的贝叶斯推理程序的一般类的非参数回归模型。具体地说,非参数贝叶斯推理分别对每个子集随机分裂的海量数据集,然后获得的局部结果聚合成全球同行。这个聚合步骤是显式的,不涉及任何额外的计算成本。通过仔细的分区,我们表明,我们的聚合推理结果获得的Oracle规则的意义上说,他们是等同于那些直接从整个数据(这是计算禁止)。例如,一个聚合的可信球达到了期望的可信度水平,也频率覆盖,同时拥有相同的半径的预言球。
2019-09-04 math.ST stat.TH
Constrained Bayesian Optimization for Automatic Chemical Design
自动化学设计是一个框架,用于生成具有优化特性的新型分子。原来的计划,具有贝叶斯优化的潜在空间的变分自动编码器,遭受的病理,它往往会产生无效的分子结构。首先,我们证明经验,这种病理学时出现的贝叶斯优化方案查询潜在点远离数据的变分自动编码器已被训练。其次,通过重新制定的搜索过程作为一个约束贝叶斯优化问题,我们表明,这种病理的影响可以减轻,产生显着改善所产生的分子的有效性。我们认为,约束贝叶斯优化是解决这类训练集不匹配的一个很好的方法,在许多生成任务涉及贝叶斯优化的潜在空间的变分自动编码器。
2019-08-12 stat.ML
On Bayesian posterior mean estimators in imaging sciences and Hamilton-Jacobi Partial Differential Equations
变分方法和贝叶斯方法是两种广泛应用于图像重建的方法。本文提出了Hamilton-Jacobi(HJ)偏微分方程与一类广泛的贝叶斯方法和具有高斯数据保真度项和对数凹先验的后验均值估计之间的原始联系。而某些一阶HJ偏微分方程的初始数据的解决方案描述在贝叶斯设置的最大后验估计,在这里,我们表明,一些粘性HJ偏微分方程的初始数据的解决方案描述了广泛的一类后验均值估计。这些连接使我们能够建立几个代表性的公式和最佳界限,涉及后验均值估计。特别地,我们使用这些连接到HJ偏微分方程表明,一些贝叶斯后验均值估计可以表示为两次连续可微函数的近似映射,而且我们推导出这些函数的表示公式。
2020-03-12 math.ST stat.TH
Bayesian inference through encompassing priors and importance sampling for a class of marginal models for categorical data
我们开发了一种贝叶斯方法来选择模型,这是最支持的一类边际模型的分类变量制定通过平等和/或不等式约束广义logits(本地,全球,连续或反向延续),广义对数比值比和类似的高阶相互作用的数据。对于每个约束模型,模型参数的先验分布按照包含先验方法来制定。然后,通过使用贝叶斯因子进行模型选择,贝叶斯因子由重要性抽样方法估计。该方法通过涉及一些数据集,其中还包括解释变量的三个应用程序来说明。结合其中一个示例,还考虑了对先前规范的灵敏度分析。
2012-02-18 math.ST stat.TH
Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences
Romanian Institute of Science and Technology(罗马尼亚科学技术研究院)
贝叶斯神经网络(BNN)在训练后往往会导致未校准,通常倾向于过度自信。因此,设计在计算复杂性方面具有低影响的有效校准方法是中心兴趣。在本文中,我们提出了校准方法的BNN的基础上的α发散信息几何。我们比较了在训练和校准中使用alpha发散,并展示了如何在校准中使用alpha发散为特定的alpha选择提供更好的校准不确定性估计,并且特别是对于复杂的网络架构更有效。我们经验证明的优势,阿尔法校准回归问题,涉及参数估计和推断输出不确定性之间的相关性。
2020-08-15 cs.LG stat.ML