Bayesian Trend Filtering
我们开发了一个完全贝叶斯分层模型的趋势过滤,本身是一个新的发展,非参数,单变量回归。该框架更广泛地适用于广义套索,但重点是贝叶斯趋势过滤。我们比较了两个收缩先验,双指数和广义双帕累托。一个模拟研究,比较贝叶斯趋势滤波的原始配方和其他一些流行的方法表明,我们的方法,以提高估计误差,同时保持,如果不提高覆盖概率。两个时间序列数据集证明贝叶斯趋势滤波的鲁棒性可能违反其假设。
2015-05-28 stat.ME
A warped kernel improving robustness in Bayesian optimization via random embeddings
该工作扩展了随机嵌入贝叶斯优化方法,通过在协方差核内集成高维子空间的翘曲。所提出的翘曲,依赖于基本的几何考虑,允许减轻高外在维度的缺点,同时避免算法评估点给出多余信息。它还简化了嵌入域的边界选择约束,从而提高了鲁棒性,如具有25个变量和内在维度6的测试用例所示。
2015-03-18 math.OC stat.ML
Tree-Regularized Bayesian Latent Class Analysis for Improving Weakly Separated Dietary Pattern Subtyping in Small-Sized Subpopulations
本文提出树正则化贝叶斯潜在类别模型,通过 Dirichlet 扩散树先验在膳食模式间共享统计强度,以改善小规模亚群中弱分离膳食模式的估计,并在 496 名南美裔美国成年人数据上验证了方法效果。
2025-04-10 stat.ME
A Bayesian Stochastic Approximation Method
为了提高小样本设计的效率,提出了一种新的贝叶斯随机逼近方法来估计回归函数的根。该方法具有自适应局部建模和非递归迭代的特点。得到了Bayes估计的强相合性。仿真研究表明,我们的方法是优越的有限样本性能Robbins-Monro型程序。给出了极值搜索的扩展和广义多元分位数的一种形式。
2017-05-05 stat.ME
A Bayesian Dynamic Graphical Model for Recurrent Events in Public Health
为了分析某些类型的公共卫生干预措施的影响,我们需要估计适用于异质开放人群的处理效应和结果。动态修改包含风险群体的人群,这些群体对协变量的变化反应非常不同,这无疑是一项挑战。在这里,我们提出了一种新的贝叶斯图形模型,称为减少动态链事件图(RDCEG)定制这样的人群。这些模型将基于树的链事件图推广到一类特殊的图支持的半马尔可夫过程。它们提供了一个接口之间的自然语言解释什么可能发生在个人和正式的统计分析。在这里,我们展示了RDCEG如何能够表达每个脆弱个体的不同可能进展,以及该人群中不同个体之间这些进展中的概率对称性假设。我们展示了如何完善的贝叶斯网络技术可以几乎无缝地转移到这个类。我们的工作是出于对复发性事件过程的非药物干预建模的挑战。我们说明了我们的方法在两个设置:干预,以减少老年人之间的跌倒和试验,以检查延迟治疗的影响,个人提出的早期癫痫。
2019-10-11 stat.ME
The Traveling Bandit: A Framework for Bayesian Optimization with Movement Costs
University of Michigan(密歇根大学)
本文提出了一种具有移动成本的贝叶斯优化框架,通过整合旅行商问题解决方法,有效降低移动成本并保持与传统方法相当的性能。
2024-10-18 cs.LG stat.ME
Improving the INLA approach for approximate Bayesian inference for latent Gaussian models
本文引入了一种新的基于Copula的广义线性混合模型修正方法,并将其应用于潜在高斯模型的近似贝叶斯推断的集成嵌套拉普拉斯近似(INLA)方法中.虽然INLA通常非常准确,但一些(相当极端)GLP-A病例(例如,二项式或泊松数据)被认为是有问题的。当模型中的平滑程度或“借用强度”非常低时,可能会出现不准确,因此我们开发了一种修正方法,旨在扩大INLA的适用范围。我们的新校正已被实现为R-INLA包的一部分,只增加了微不足道的计算成本。对真实数据和模拟数据的实证分析表明,该方法效果良好。
2015-12-15 math.ST stat.CO stat.ME
A seamless dose-optimization design for monotherapy and combination therapy
Astellas Pharma Global Development Inc.(安斯泰来全球开发公司);Chuo University(中央大学)
本文针对肿瘤药物开发中传统剂量设计不适用于新型药物、单药与联合治疗评估存在方法学差距的问题,提出一种可自适应评估单药及联合治疗的无缝剂量优化设计,该设计采用模型辅助框架,经模拟验证性能稳健,可弥合方法与临床现实的差距。
2026-08-20 stat.ME
Improving the accuracy of estimating indexes in contingency tables using Bayesian estimators
针对列联表指数估计在样本量充足时偏差和均方误差较大的问题,提出基于Dirichlet先验的贝叶斯单元概率估计量,通过最小化MSE构建新指数估计量,在少样本下显著降低了偏差和MSE。
2023-10-25 stat.ME
Improving Active Learning with a Bayesian Representation of Epistemic Uncertainty
Warwick Mathematics Institute, University of Warwick(华威大学华威数学研究所);Division of Mathematical Sciences, Nanyang Technological University(南洋理工大学数学科学学院)
针对主动学习中两类不确定性难以区分且缺乏通用最优策略的问题,提出结合概率与可能性理论表示认知不确定性的新主动学习策略,引入可能性GP并在分类任务的模拟及真实数据集上验证了优异性能。
2024-12-11 cs.LG stat.ME
General Bayesian Predictive Synthesis
本文提出GBPS方法,在贝叶斯框架下通过损失最小化整合专家预测分布,无需参数估计,并以模拟研究验证其用于贝叶斯集成决策的性能。
2024-06-13 stat.ME
Meta-Analysis with JASP, Part II: Bayesian Approaches
本文介绍JASP元分析模块中的贝叶斯方法,涵盖估计、假设检验和模型平均,使无编程经验的研究者也能进行高级贝叶斯元分析。
2025-09-11 stat.CO stat.ME
A Bayesian Model for Co-clustering Ordinal Data with Informative Missing Entries
University of Milano-Bicocca(米兰比可卡大学);University of Padova(帕多瓦大学)
本文提出一种贝叶斯非参数模型,用于共聚类多变量有序数据,通过将缺失值视为信息而非缺失,提升对数据潜在结构的理解。
2024-11-04 stat.ME
Spatial Disease Mapping and Disparity Detection Using Generative AI: An Amortized Bayesian Learning Framework
Department of Biostatistics, University of California, Los Angeles(加州大学洛杉矶分校生物统计系)
提出一种摊销贝叶斯框架,通过神经网络近似后验分布,实现跨不同区域图的空间边界检测,并在呼吸疾病和肺癌数据中验证其有效性。
2026-06-17 stat.ME
Improving the Convergence Properties of the Data Augmentation Algorithm with an Application to Bayesian Mixture Modeling
驱动数据增强(DA)和三明治算法的可逆马尔可夫链定义了自伴算子,其谱编码算法的收敛特性。当目标分布有不可数的支持时,就像在实践中几乎总是这样,通常很难处理这些谱。我们证明了,如果增广空间是有限的,那么(在正则性条件下)由DA和三明治链定义的算子是紧的,并且谱是$[0,1)$的有限子集。证明了三明治算子的谱优于DA算子的谱,即三明治算子的序元素都小于或等于DA算子的序元素.作为一个具体的例子,我们研究了一个广泛使用的DA算法与贝叶斯混合模型相关的后验密度的探索[J.罗伊。中央集权主义者Soc.Ser.B56(1994)363 - 375]。特别是,我们比较了这种混合DA算法与Frühth-Schnatter [J. Amer. Statist. Assoc.96(2001)194 - 209],其基于随机标签交换。
2012-02-03 stat.CO stat.ME
Pruning a neural network using Bayesian inference
Marquette University(马凯特大学)
本文提出一种基于贝叶斯推断的神经网络剪枝方法,利用剪枝前后后验概率计算贝叶斯因子指导迭代剪枝,在多个基准上实现目标稀疏度并保持竞争力准确率。
2023-08-04 cs.LG stat.ML
Improving Generalization with Flat Hilbert Bayesian Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Monash University(莫纳什大学)
提出 FHBI 算法,通过再生核 Hilbert 空间中的对抗函数扰动与函数下降迭代提升贝叶斯推理泛化性,并在 VTAB-1K 的 19 个数据集上显著优于九种基线。
2025-06-08 cs.LG stat.ML
Sequential Bayesian Inference for Uncertain Nonlinear Dynamic Systems: A Tutorial
本文综述非线性非高斯动态系统的序贯贝叶斯方法,围绕粒子滤波构建统一框架,以稀疏测量解决状态、参数与驱动输入联合估计问题。
2022-01-20 cs.SY eess.SY stat.ME
Flat Posterior Does Matter For Bayesian Model Averaging
KAIST(韩国科学技术院)
该研究针对后验平坦性对贝叶斯模型平均(BMA)泛化能力的影响被忽视的问题,提出FP-BMA训练目标及对应迁移学习方案,实验证明其能捕获平坦后验并提升泛化性能。
2025-06-17 cs.LG stat.ML
PlaNet of the Bayesians: Reconsidering and Improving Deep Planning Network by Incorporating Bayesian Inference
Panasonic Corporation(松下公司);Ritsumeikan University(立命馆大学)
在本文中,我们提出了一个扩展的深度规划网络(PlaNet),也被称为PlaNet的贝叶斯(PlaNet-Bayes)。在部分可观测的环境中对模型预测控制(MPC)的需求日益增长,在部分可观测的环境中,由于例如缺乏昂贵的传感器而无法获得完整的信息。PlaNet是实现这种潜在MPC的一种很有前途的解决方案,因为它用于通过基于基于模型的强化学习(MBRL)来训练状态空间模型,并在潜在空间中进行规划。然而,最近的国家的最先进的MBRR文献中提到的战略,如涉及到培训和规划的不确定性,没有被考虑,显着抑制培训性能。建议的扩展是使PlaNet的不确定性感知的贝叶斯推理的基础上,其中模型和动作的不确定性。潜在模型中的不确定性表示使用神经网络集成来近似地推断模型后验。最佳行动候选人的合奏也被用来捕捉多模态的不确定性的最优性。动作集合的概念依赖于一般变分推理MPC(VI-MPC)框架及其实例,轨迹采样概率动作集合(PaETS)。在本文中,我们扩展VI-MPC和PaETS,这最初是在以前的文献中介绍,以解决部分可观察的情况。我们实验比较连续控制任务的性能,并得出结论,我们的方法可以不断提高渐近性能相比,PlaNet。
2020-03-01 cs.LG cs.NE cs.RO
Improving predictions of Bayesian neural nets via local linearization
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心);Technical University of Denmark(丹麦技术大学);DeepMind(深度思维公司)
广义高斯-牛顿(GGN)近似通常用于通过将二阶导数替换为一阶导数的乘积来使实际的贝叶斯深度学习方法可扩展。在本文中,我们认为,GGN近似应被理解为一个局部线性化的底层贝叶斯神经网络(BNN),它把BNN到一个广义线性模型(GLM)。因为我们使用这个线性化模型进行后验推理,所以我们也应该使用这个修改后的模型来预测,而不是原来的模型。我们将这种修改后的预测称为“GLM预测”,并表明它有效地解决了常见的欠拟合问题的拉普拉斯近似。它扩展了以前的结果在这方面的一般似然性,并有一个等效的高斯过程制定,使替代推理方案的BNN在函数空间。我们证明了我们的方法在几个标准分类数据集以及分布检测的有效性。我们在https://github.com/AlexImmer/BNN-predictions上提供了一个实现。
2021-02-25 cs.LG stat.ML
Scalable Bayesian Learning with posteriors
Normal Computing
针对现代机器学习模型贝叶斯学习的计算挑战,本文引入可扩展PyTorch库posteriors,提出回火随机梯度马尔可夫链蒙特卡罗框架并改进深度集成以实现渐近无偏,通过实验验证其在冷后验效应研究和大语言模型应用中的效用。
2025-04-14 cs.LG stat.ML
Improving Infinitely Deep Bayesian Neural Networks with Nesterov's Accelerated Gradient Method
Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences Shenzhen, P.R.China
本文提出一种结合Nesterov加速梯度与残差跳接的SDE-BNN模型,通过减少函数评估次数提升收敛速度和预测精度。
2026-03-26 cs.LG stat.ML
Improving parameter learning of Bayesian nets from incomplete data
IDSIA(瑞士人工智能研究所)
本文讨论了不完全数据下贝叶斯网络的参数估计问题。通常通过多次运行期望最大化(EM)算法来处理该任务,以获得高对数似然估计。我们认为,选择最大对数似然估计(以及最大惩罚对数似然和最大后验估计)有严重的缺点,受到过拟合和模型不确定性的影响。讨论了两个想法,以克服这些问题:最大熵的方法和贝叶斯模型平均的方法。这两个想法都可以很容易地应用于EM之上,而熵的想法也可以通过一个专用的非线性求解器以更复杂的方式实现。大量的实验表明,这些想法产生显着更好的估计和推理比传统的和广泛使用的最大(惩罚)对数似然和最大后验估计。特别地,如果EM被采用作为优化引擎,则模型平均方法是性能最好的方法;当使用非线性求解器实现时,其性能与熵方法相匹配。结果表明,这些想法的适用性是直接的(它们很容易实现,并集成到目前可用的推理引擎),他们构成了一个更好的方式来学习贝叶斯网络参数。
2011-10-12 cs.AI cs.LG stat.ML
Bayesian Stability Selection and Inference on Selection Probabilities
Macquarie University(麦考瑞大学);The University of Sydney(悉尼大学)
本文提出一种结合贝叶斯分析的稳定性选择方法,通过整合领域知识提升变量选择的推断和决策稳定性。
2025-02-28 stat.CO stat.ME
A Bayesian hierarchical model for improving exercise rehabilitation in mechanically ventilated ICU patients
在重症监护室(ICU)接受机械通气的患者参与锻炼,作为其康复的一部分,以改善危重疾病对其身体功能的长期影响。然而,由于缺乏用于实时量化个体患者的运动强度水平的科学方法,这些方案的有效实施受到阻碍,这导致广泛的一刀切的康复方法和次优的患者结果。在这项工作中,我们已经开发了一个贝叶斯分层模型与时间相关的潜在高斯过程预测$\dot VO_2$,运动强度的生理措施,使用现成的生理数据。使用集成嵌套拉普拉斯近似进行推断。为了临床医生的实际使用,将$\dot VO_2$分为运动强度类别。基于这些分类,使用留一患者交叉验证进行内部验证,并研究了描述分类不确定性的概率陈述的作用。
2022-06-28 stat.AP
Improving Geopolitical Forecasts with Bayesian Networks
Université du Québec à Montréal(魁北克大学蒙特利尔分校)
本研究通过比较贝叶斯网络与逻辑回归等方法,发现贝叶斯网络在地缘政治预测中表现出色,但需进一步优化以提高准确性。
2026-01-19 cs.LG stat.AP
Improving Accuracy of Interpretability Measures in Hyperparameter Optimization via Bayesian Algorithm Execution
Ludwig-Maximilians-Universität München(慕尼黑大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
尽管自动超参数优化(HPO)有很多好处,但大多数现代HPO算法本身都是黑盒。这使得难以理解导致所选配置的决策过程,降低了对HPO的信任,从而阻碍了其广泛采用。在这里,我们研究了HPO与可解释的机器学习(IML)方法(如部分依赖图)的结合。这些技术越来越多地用于解释超参数对黑箱成本函数的边际效应或量化超参数的重要性。然而,如果这些方法以事后方式天真地应用于HPO过程的实验数据,则优化器的潜在采样偏差可能会扭曲解释。我们提出了一种改进的HPO方法,有效地平衡了搜索全局最优w.r.t.预测性能\emph{and}通过耦合贝叶斯优化和贝叶斯算法执行,对底层黑盒函数的IML解释进行可靠估计。在神经网络的合成目标和HPO的基准情况下,我们证明了我们的方法返回更可靠的解释的基础黑盒没有损失的优化性能。
2023-02-12 cs.LG stat.ML
Improving Neural Additive Models with Bayesian Principles
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Helmholtz AI(亥姆霍兹人工智能研究所);TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出 Laplace 近似神经加性模型 LA-NAMs,利用贝叶斯边际似然、可信区间和特征对排序增强不确定性估计、特征选择与二阶交互识别。
2024-10-26 cs.LG stat.ML
Improving Bayesian Local Spatial Models in Large Data Sets
在空间和时间上足够小的尺度上分辨的环境过程将不可避免地表现出非平稳行为。当数据量很大时,这样的过程对建模和计算都是具有挑战性的。局部模型可以应用于域的不相交区域,而不是显式地对全局非平稳性进行建模。这些区域大小的选择取决于偏差-方差权衡;大区域将具有较小的方差和较大的偏差,而小区域将具有较高的方差和较小的偏差。从建模和计算的角度来看,小区域更适合于更好地适应非平稳性。然而,在实践中,需要大的区域来控制方差。我们提出了一种新的贝叶斯三步方法,允许较小的区域,而不会影响随后的方差增加。我们能够将不确定性从一个步骤传播到下一个步骤,而不会因为重用数据而导致问题。正如我们的模拟示例所示,推理的改进也会导致预测的改进。我们说明了这种新的方法在沙特阿拉伯的模拟高分辨率风速数据的数据集。
2020-08-20 stat.AP
Improving sample efficiency of high dimensional Bayesian optimization with MCMC
Tsinghua University(清华大学);California Institute of Technology(加州理工学院)
针对高维贝叶斯优化中的维数灾难和计算复杂度问题,提出基于马尔可夫链蒙特卡洛的高效采样方法,在高斯过程汤普森采样下具备理论收敛保证,并在高维序贯优化与强化学习基准中超越现有最先进方法。
2024-01-05 cs.LG stat.ML
Improving SAMC using smoothing methods: Theory and applications to Bayesian model selection problems
随机逼近蒙特卡罗(SAMC)最近由Liang,Liu和Carroll [J. Amer. Statistist. Assoc.102(2007)305- 320]作为通用模拟和优化算法。在本文中,我们提出了改善其收敛性的平滑方法,并讨论了新算法的贝叶斯模型选择问题的应用。通过一个变点识别实例对新算法进行了测试。数值结果表明,新算法在模型选择问题上的性能明显优于SAMC和可逆跳MCMC。新算法是随机逼近马尔可夫链蒙特卡罗算法的一般形式。它允许在每次迭代时生成多个样本,并在参数更新步骤中包含偏置项。在可验证的条件下,给出了一般算法收敛性的严格证明。本文还提供了一个框架,如何提高效率的Monte Carlo模拟结合一些非参数技术。
2009-08-25 math.ST stat.TH
Dynamic Bayesian Predictive Stacking via Markovian Spatiotemporal Propagation
Università degli studi Milano-Bicocca(米兰比可卡大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种自适应马尔可夫时空迁移学习方法,通过矩阵变量高斯分布和贝叶斯预测堆叠实现高效信息共享,提升多变量时空建模的可扩展性和适应性。
2026-11-09 stat.CO stat.ME
Hierarchical Bayesian sparse image reconstruction with application to MRFM
本文提出了一种分层贝叶斯模型,当观测值由线性变换获得并被加性高斯白噪声破坏时,重建稀疏图像。我们的分层贝叶斯模型非常适合于这种自然稀疏的图像应用,因为它无缝地通过适当的贝叶斯先验解释了图像的稀疏性和积极性等属性。我们提出了一个先验,是基于一个加权的混合正指数分布和质量为零。先验具有通过分层贝叶斯模型的边缘化自动调整的超参数。为了克服后验分布的复杂性,提出了一种Gibbs抽样策略。吉布斯样本可以用于估计要恢复的图像,例如通过最大化估计的后验分布。在我们的完全贝叶斯方法中,所有参数的后验均可用。因此,我们的算法提供了更多的信息比其他以前提出的稀疏重建方法,只给一个点估计。我们的分层贝叶斯稀疏重建方法的性能说明合成和真实的数据从烟草病毒样本使用原型MRFM仪器。
2009-09-23 cs.IT math.IT physics.data-an
Improving Grid Based Bayesian Methods
在某些情况下,可以通过使用确定性的网格点集合而不是马尔可夫链来探索超参数空间来获得计算益处。我们认为这是一个数值积分问题,并作出三个独特的贡献。首先,我们使用低差异点集而不是网格来探索空间。这允许以比基于网格的方法低得多的计算成本精确估计任何形状的边缘,并且因此使得可以将计算益处扩展到具有更高维度(10或更多)的超参数空间。其次,我们提出了一种新的,快速和简单的方法来估计边际使用最小二乘多项式,并证明了该多项式将收敛到真正的边际的条件。我们的结果是有效的广泛的点集,包括网格,随机点和低差异点。第三,我们表明,进一步的准确性和效率,可以通过考虑被积函数的功能分解,并说明如何使用锚定f-ANOVA加权空间。
2016-09-29 stat.CO
Improving Bayesian Optimization via Training-Aware Conditional Diffusion Models
National University of Singapore(新加坡国立大学);Georgia Institute of Technology(佐治亚理工学院)
提出利用条件扩散模型高效近似最优解分布,并开发贝叶斯优化固有的训练策略和基于扩散的模态搜索采集函数,理论保证次优性,实验优于标准基线。
2026-06-07 cs.LG stat.ML
Improving Quadrature for Constrained Integrands
Washington University in St. Louis(圣路易斯华盛顿大学)
我们提出了一个改进的贝叶斯框架进行推理的约束函数的仿射变换。我们专注于非负函数的求积,这是贝叶斯推理中的一项常见任务。我们考虑的范围内的限制的功能,如非负性或有界性。虽然我们的框架是一般的,我们推导出这些约束的显式近似方案,并主张使用对数变换的功能,如高动态范围的似然表面。我们提出了一种新的方法来优化超参数在这个框架中:我们优化的边缘似然在原始空间,而不是在变换后的空间。结果是一个更好地解释实际数据的模型。合成和真实世界的数据上的实验表明,我们的框架实现了优越的估计,使用更少的挂钟时间比现有的贝叶斯求积程序。
2019-02-27 cs.LG stat.ML
Towards Improving the Predictive Capability of Computer Simulations by Integrating Inverse Uncertainty Quantification and Quantitative Validation with Bayesian Hypothesis Testing
核系统建模与仿真的最佳估计加不确定性(BEPU)方法要求必须量化预测不确定性,以证明所研究的设计保持在验收标准范围内。严格的不确定性量化(UQ)过程应同时考虑可量化不确定性的多个来源:(1)由于随机性或缺乏知识而导致的参数不确定性;(2)由于测量噪声而导致的实验不确定性;(3)由于缺失/不完整的物理和数值近似误差而导致的模型不确定性,以及(4)使用替代模型时的代码不确定性。在本文中,我们提出了一个全面的框架来整合逆UQ和定量验证的结果,以提供强大的预测,使所有这些来源的不确定性都可以考虑在内。逆UQ是基于实验数据量化参数不确定性,同时考虑模型、规范和测量的不确定性。在验证步骤中,我们使用基于贝叶斯假设检验的定量验证度量。然后,使用生成的度量(称为贝叶斯因子)来形成加权因子,以结合贝叶斯模型平均过程中参数不确定性的先验知识和后验知识。通过这种方式,模型预测将能够整合来自逆UQ和验证的结果,以考虑所有可用的不确定性来源。该框架是通过弥合模型和数据之间的差距,朝着解决ANS核“模拟/实验”大挑战迈出的一步。
2021-05-02 stat.CO
Accelerating Convergence in Bayesian Few-Shot Classification
Center for Applied Statistics(应用统计中心);School of Statistics, Renmin University of China(中国人民大学统计学院);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心)
本文提出将镜像下降变分推断集成到高斯过程少样本分类中,利用非欧几何实现加速收敛并改善不确定性量化,实验验证了其优于基线模型的性能。
2024-05-07 cs.LG stat.ML
Towards Scalable Bayesian Optimization via Gradient-Informed Bayesian Neural Networks
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720, USA(化学与生物分子工程系,加州大学伯克利分校)
本文提出一种梯度信息损失函数用于贝叶斯神经网络训练,以在贝叶斯优化中利用梯度信息增强代理模型,提升预测精度并加快高维问题收敛。
2025-08-06 cs.LG stat.ML
Bayesian Sampling Bias Correction: Training with the Right Loss Function
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
我们推导出一个损失函数的家庭的训练模型中存在的抽样偏差。例如,当病理学的患病率与其在训练数据集中的采样率不同时,或者当机器学习从业者重新平衡其训练数据集时。采样偏差会导致实验室中的模型性能与更现实的设置之间存在很大差异。它在医学成像应用中无处不在,但在训练时经常被忽视或在特定的基础上解决。我们的方法是基于贝叶斯风险最小化。对于任意似然模型,我们推导出相关的偏差校正损失的训练,表现出直接连接到信息增益。该方法无缝集成在当前的(深度)学习范式中,使用随机反向传播并自然地与贝叶斯模型相结合。我们举例说明肺结节恶性程度分级的病例研究的方法。
2020-06-24 cs.LG q-bio.QM stat.AP
Big Learning with Bayesian Methods
Tsinghua University(清华大学)
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣,大学习是一个新兴的子领域,研究可扩展的机器学习算法,系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法,在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展,包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理,以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO
Improving the stability of the covariance-controlled adaptive Langevin thermostat for large-scale Bayesian sampling
School of Mathematics, University of Birmingham(数学系,伯明翰大学)
本文提出改进的CCAdL热力学以提升大规模贝叶斯采样中的稳定性与精度。
2025-12-30 cs.LG stat.CO stat.ME
A Bayesian Framework for Built-in Input Dimension Reduction for Gaussian Process Modeling
Division of Statistics and Data Science, Department of Mathematical Sciences, University of Cincinnati(统计与数据科学系,数学科学系,辛辛那提大学);Department of Mathematics, Purdue University(数学系,普渡大学)
针对高斯过程建模中高维输入难题,本文引入基于分层贝叶斯模型的框架,集成降维与建模推理,通过哈密顿蒙特卡洛实现后验推理,并结合深度高斯过程扩展框架,提升了预测性能与不确定性量化。
2026-07-23 cs.LG math.PR stat.AP
BoTier: Multi-Objective Bayesian Optimization with Tiered Composite Objectives
Harvard University(哈佛大学);Dana-Farber Cancer Institute(达纳-法伯癌症研究所);University of Wuppertal(伍珀塔尔大学)
针对科学优化中需平衡具有层级关系的多目标问题,提出复合目标 BoTier,以灵活表示对实验结果和输入参数的偏好层级,并以自动可微方式集成至 BoTorch 库,在合成与真实数据上验证了其稳健适用性。
2025-01-26 cs.LG math.OC stat.ME
Improving Tree Probability Estimation with Stochastic Optimization and Variance Reduction
针对子分裂贝叶斯网络参数学习中EM难以扩展的问题,提出高效随机训练方法并引入方差缩减,同时改进VBPI中的参数优化,实验显示在树拓扑概率估计和贝叶斯系统发育推断上均优于基线。
2024-09-09 q-bio.PE stat.CO stat.ML
Improving forecasting performance using covariate-dependent copula models
Copula函数为构造具有灵活边缘分布和不同依赖形式的多元分布提供了一种有吸引力的方法。在许多领域特别重要的是明确预测尾部依赖的可能性。大多数现有的方法只能通过讨厌的参数来估计尾部依赖性和相关性,但既不能用于解释,也不能用于预测。为了提高copula预测性能,我们提出了一种通用的贝叶斯方法建模和预测的尾部相关性和相关性作为显式函数的协变量。建议的协变量依赖的copula模型还允许贝叶斯变量之间的选择,从边际模型以及copula密度。我们研究的Copula包括Joe-Clayton Copula、Clayton Copula、Gumbel Copula和Student的\emph{t} -Copula。后验推理是使用一种有效的MCMC模拟方法。我们的方法适用于模拟数据和标准普尔100和标准普尔600指数。将所提出的方法的预测性能与基于日志预测分数的其他建模策略进行比较。在风险价值评估也进行了模型比较。
2018-05-21 stat.CO stat.ME
A Bayesian hierarchical framework for fusion of remote sensing data: An example with solar-induced fluorescence
本文提出一个贝叶斯分层模型(BHM),从OCO-2卫星观测中估计全球一度的太阳诱导叶绿素荧光(SIF)及其不确定性,利用傅里叶项纳入季节性信息,补充了现有大气二氧化碳估计。
2025-03-05 stat.AP stat.ME
Local Bayesian Dirichlet mixing of imperfect models
本文提出利用 Dirichlet 分布的局部贝叶斯模型混合框架,扩展 Bayesian stacking,并在核质量预测中证明其精度、不确定性量化和外推稳健性优于经典贝叶斯模型平均。
2023-11-02 nucl-th stat.ME stat.ML
Improving the identification of antigenic sites in the H1N1 Influenza virus through accounting for the experimental structure in a sparse hierarchical Bayesian model
了解基因变化如何使新出现的病毒株逃避疫苗接种提供的保护,对于维持有效的疫苗至关重要。在目前的工作中,我们使用病毒株对之间的结构和系统发育差异,以确定重要的抗原位点的甲型流感(H1N1)病毒的表面上,通过预测的血凝抑制(HI)试验,成对措施的抗原相似性的病毒株。我们提出了一个稀疏的层次贝叶斯模型,可以处理H1N1数据中的成对结构和固有的实验变异性,通过引入潜在变量。潜在变量代表任何给定病毒株对的基础HI检测测量值,并有助于解释以下事实:对于相同病毒株对之间的任何HI检测测量值,病毒序列的差异保持不变。通过准确地表示H1N1数据的结构,该模型能够选择具有抗原性的病毒位点,而其潜在结构实现了处理大型病毒序列数据所需的计算效率,这通常适用于流感病毒。除了潜变量模型,我们还提出了一种新的方法,块集成广泛适用的信息准则(biWAIC),用于选择之间的竞争模型。我们展示了如何使我们能够有效地选择随机效应时,与建议的模型和应用这两种方法的A(H1N1)数据集。
2017-10-06 stat.AP
Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces
Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
本文提出MPHD模型预训练方法,利用神经网络映射将特定域上下文转化为分层高斯过程规范,实现异构搜索空间间的知识迁移,并与贝叶斯优化无缝集成以提升黑盒函数优化性能。
2024-02-13 cs.AI cs.LG stat.ML
sanba: An R Package for Bayesian Clustering of Distributions via Shared Atoms Nested Models
本文提出R包sanba,基于共享原子嵌套混合模型解决分组数据的贝叶斯聚类与密度估计问题,提供MCMC和变分推断算法,核心用C++实现,兼顾大规模数据下的计算效率与易用性。
2025-08-13 stat.CO
Bayesian Meta-Learning for Improving Generalizability of Health Prediction Models With Similar Causal Mechanisms
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Massachusetts General Hospital(麻省总医院);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所);University of Manchester(曼彻斯特大学)
本文提出一种贝叶斯元学习方法,通过建模任务间因果机制相似性来减轻负迁移并优化微调,在UK Biobank和FinnGen卒中预测实验中显著提升了模型泛化能力。
2024-12-30 cs.LG stat.ML
Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院);The Royal Brompton & Harefield NHS Foundation Trust(皇家布朗普顿与哈菲尔德国民保健服务基金会信托);University College London(伦敦大学学院)
数据集很少是目标人群的现实近似值。比如,患病率被歪曲,图像质量高于临床标准等。这种不匹配被称为采样偏差。采样偏差是机器学习模型的主要障碍。它们导致实验室中的模型性能与现实世界中的模型性能之间存在显著差距。我们的工作是解决流行偏见。患病率偏倚是病理学患病率与其在训练数据集中的采样率之间的差异,在收集数据时引入或由于从业者重新平衡训练批次。本文奠定了理论和计算框架的训练模型,并预测,在存在的患病率偏差。根据贝叶斯风险最小化原则,推导了偏差修正的损失函数和偏差修正的预测规则。这种损失与信息的获得有着直接的联系。它提供了一个原则性的替代启发式训练损失和补充测试时间的程序的基础上选择一个操作点从汇总曲线。它无缝集成在当前的(深度)学习范式中,使用随机反向传播并自然地与贝叶斯模型相结合。
2021-07-31 cs.LG q-bio.QM stat.AP